Risicoanalyse Tingit 8QL wijst uit – risico's onder controle

In eerdere blog posts lieten we zien dat we met AI gebruikerswensen omzetten naar een formele taal, 8QL genaamd. Zie onze developer posts over het concept en uitwerking. In deze post duiken we de diepte en kijken we naar de compliance-kant van de 8QL agent. Is die wel veilig genoeg en wat moeten we nog doen om het nog veiliger te maken? Voldoen we aan de wettelijke vereisten, zoals de AVG/GDPR en de AI Act?

✅ AVG/GDPR

De 8QL Agent krijgt alleen de volgende elementen uit het klantdomein binnen Tingit aangeboden:

• kenmerken
• programma's (structuur)
• profieleigenschappen (structuur)
• gebruikersstatus (structuur)
• gebruikersrollen (structuur)

Nergens in het proces worden persoonsgegevens gedeeld met de AI. De 8QL Agent werkt enkel met structuren om te komen tot de juiste 8QL query. De 8QL query zelf wordt buiten de AI, in Tingit, uitgevoerd. De AI heeft noch weet van, noch grip op, wat er binnen Tingit gebeurt. Geen enkel persoonsgegeven binnen Tingit wordt blootgesteld aan de AI.

✅ Uitsluiten prompt injection

Prompt injection is het fenomeen, waarbij je door middel van manipulatie van de prompt context, de AI dingen kunt laten doen die buiten het beoogde werkveld liggen en mogelijk zelfs malafide zijn. Voorbeelden hiervan zijn gerichte omzeilingen van veiligheidsinstructies (zodat je bijvoorbeeld wel de instructies voor het bouwen van een nucleair wapen boven tafel krijgt) of het kapen van tool calls (zoals bijvoorbeeld een verbinding naar een MCP-server) naar buiten toe.

De output van de 8QL agent wordt in een gestructureerd formaat gedwongen. Bij uitvoer van de gegenereerde 8QL query wordt deze altijd getoetst tegen de permissies die je hebt binnen Tingit. Het is dus niet mogelijk een 8QL query te laten genereren die je meer rechten geeft dan je hebt.

De 8QL agent is niet uitgerust met tool calls (zoals MCP) en tools kunnen derhalve niet gekaapt worden middels prompt injection.

8QL query's zijn al beschermd tegen injectie-technieken, door de query te valideren tegen de taal en slechts het runnen van één enkel 8QL query toe te staan. De 8QL taal zelf is derhalve niet vatbaar voor injectie.

✅ Activiteiten binnen licentie Google

Google voert voor de Gemini 2.5 familie een commerciële licentie, waarbij enkel een beperkt aantal zaken zijn uitgesloten, zoals bijvoorbeeld criminele activiteiten. Alle handelingen van de Tingit 8QL agent passen binnen de commerciële licentie van Google.

✅ Regie op kosten

Kosten Gemini 2.5 Flash Lite liggen op moment van schrijven op $0,10 per 1.000.000 input tokens. Aangezien gemiddelde 8QL agent calls onder de 50.000 input tokens verbruiken, liggen de kosten hiervan onder de halve dollarcent per call. Wij achten de kosten hiervan dusdanig laag dat het niet de moeite is om hier een separate administratie voor op te tuigen en laten dit dus vallen onder de lopende Tingit gebruikerslicentie.

Potentiële verbeterpunten

De volgende zaken zijn geïdentificeerd als verbeterpunten voor de korte termijn:

• Telemetrie; opslaan van de meta-gegevens van een 8QL agent call, zoals het gebruikte model en de gebruikte input/output tokens, dit om grip te houden op gebruik en kosten
• Traceren foutcategorieën; door paren van prompts en outputs te volgen en te classificeren naar foutcategorie, kan de 8QL agent geleidelijk verbeterd worden
• Graceful degradation; bij onbeschikbaarheid van het achterliggende AI-model, zou de interface niet de 8QL chat agent moeten aanbieden, maar enkel het invoerveld voor de 8QL query zelf
• Activeren per organisatie; het moet voor Tingit-organisaties mogelijk zijn om de 8QL agent aan of uit te kunnen zetten, in overeenstemming met het AI-beleid van een Tingit-organisatie
• Terms of Usage; er komt een document waarin beschreven is hoe AI precies toegepast wordt binnen Tingit. Dit document kan gebruikt worden door Tingit-klanten om gebruik van de 8QL agent te toetsen tegen hun eigen AI-beleid.

De volgende verbeterpunten zijn geïdentificeerd voor de middellange termijn:

• Evaluatiemodel; Tingit is gebaat bij een representatief evaluatiemodel waarmee alternatieve modellen getoetst kunnen worden tegen een interne benchmark om geschiktheid voor inzet vast te stellen
• Open source; gebruikmaking van een open source model met tenminste de prestatie van Flash Lite, zodat regie gevoerd kan worden over onder meer de beschikbaarheid, maar ook dat in de toekomst een situatie ontstaat waar een geïsoleerd, lokaal model eventueel wel gevoed kan worden met persoonsgegevens.

AI Act

Om te bepalen of we voldoen aan de AI Act, hebben we de EU AI Act ComplianceChecker ingevuld. Daaruit volgde dat we moeten voldoen aan twee recitals, namelijk 47 en 166 en dat we vallen onder de categorie Beperkt Risico. Dit brengt de volgende concrete verplichtingen met zich mee:

• de gebruiker duidelijk informeren dat ze met AI functionaliteit werken
• kunnen aantonen dat het systeem niet High Risk is
• uitvoeren van een risicoanalyse (onderwerp van deze blog post)

Een belangrijke caveat is dat, ondanks dat de AI ingezet kan worden door overheidsinstanties, er geen sprake is van inzet van de AI agent voor beoordeling van natuurlijke personen.

Conclusie

Gebruik van de 8QL agent brengt dus geen noemenswaardige risico's met zich mee voor Tingit-organisaties. Nou ja, eigenlijk maar één. Na de afgelopen periode er intensief mee gewerkt te hebben denken wij dat de gebruiker niet meer op de oude manier wil werken na de 8QL agent eenmaal geprobeerd te hebben.