Een ai-assistent die tijdens een demonstratie overtuigend antwoordt, is nog niet klaar voor toegang tot bedrijfsgegevens.
Neem een klantenservice die een assistent wil laten zoeken in dossiers en retourverzoeken wil laten afhandelen. De relevante vraag is niet alleen of de antwoorden kloppen, maar ook welke gegevens het systeem kan opvragen en welke handelingen het mag uitvoeren. Voor it-verantwoordelijken vraagt dat om een andere acceptatietest: beoordeel niet uitsluitend het taalmodel, maar de volledige keten waarin het functioneert.
Begin met het mogelijke bedrijfsverlies
Breng eerst het bedrijfsproces in kaart. Welke bronnen gebruikt de toepassing, welke systemen zijn gekoppeld en waar kan een fout financiële of operationele gevolgen hebben? Maak daarbij onderscheid tussen advies geven, gegevens wijzigen en zelfstandig besluiten uitvoeren.
Voor de klantenservice uit het voorbeeld betekent dit: een retourprocedure uitleggen is iets anders dan een terugbetaling goedkeuren. Leg vast welke acties een medewerker moet bevestigen en welke informatie buiten bereik hoort te blijven.
Het Nationaal Cyber Security Centrum adviseert beveiligingstests te richten op concrete onderzoeksvragen, gebaseerd op te beschermen belangen en risico’s.
Vertaal dat naar toetsbare scenario’s. Kan een klant gegevens uit een ander dossier ontvangen? Kan een medewerker via de assistent meer zien dan via de reguliere applicatie? Zulke vragen geven richting aan ontwerp, budget en testopdracht.
Houd tekstherkomst en systeemveiligheid uit elkaar
Niet iedere controle onderzoekt hetzelfde risico. Een AI detector probeert onderscheid te maken tussen menselijke en automatisch gegenereerde tekst. Dat is een andere onderzoeksvraag dan vaststellen of een toepassing veilig met bedrijfsgegevens omgaat.
Ook een volledig handgeschreven document kan instructies bevatten die een assistent proberen te misleiden. OWASP beschrijft hoe externe bestanden en websites via indirecte promptinjectie het gedrag van een taalmodel kunnen beïnvloeden.
Beoordeel aangeleverde informatie daarom op meerdere niveaus: herkomst, inhoudelijke juistheid en de gevolgen van verwerking. Een geloofwaardige tekst mag niet automatisch toegang verlenen tot vertrouwelijke bronnen.
Vraag bij iedere aangeschafte controle expliciet welk risico ermee wordt afgedekt. Zo voorkom je dat een nuttig hulpmiddel wordt ingezet als bewijs voor iets wat het helemaal niet onderzoekt.
Dwing grenzen buiten het model af
Een instructie om geen vertrouwelijke gegevens te delen is geen vervanging voor toegangsbeheer. OWASP adviseert autorisatie in de achterliggende systemen af te dwingen, in plaats van het taalmodel zelf te laten bepalen welke handelingen zijn toegestaan.
Geef de assistent alleen de functies en rechten die noodzakelijk zijn. Een toepassing die retourvoorwaarden opzoekt, heeft geen algemene beheerrechten nodig. Laat iedere aanvraag controleren binnen de bevoegdheden van de betrokken gebruiker.
Regel voor ingrijpende acties een afzonderlijke goedkeuring. Toon daarbij wat er precies verandert, voor welke klant en met welk bedrag. Een bevestigingsknop zonder begrijpelijke context biedt weinig houvast.
Controleer bovendien wat gebeurt als een koppeling uitvalt of een verzoek wordt geweigerd. Laat het proces dan stoppen of terugvallen op een medewerker, in plaats van automatisch ruimere toegang te proberen.
Geef de pentest een concrete opdracht
Een pentest moet aansluiten op die architectuur. Laat niet alleen de zichtbare chatinterface onderzoeken, maar neem ook authenticatie, gekoppelde applicaties, gegevensopslag en relevante gebruikersrollen mee. Beschrijf welke onderdelen nadrukkelijk buiten de opdracht vallen.
Spreek vooraf af welke testaccounts beschikbaar zijn, wanneer het onderzoek plaatsvindt en wie bereikbaar is bij urgente bevindingen. Regel toestemming voor de afgesproken werkzaamheden en leg stopvoorwaarden vast. Het NCSC benadrukt zulke afspraken bij de voorbereiding van beveiligingstests.
Gebruik gecontroleerde testgegevens om te onderzoeken of informatie tussen gebruikers kan lekken. Laat daarnaast beoordelen of onbetrouwbare documenten ongewenste acties kunnen uitlokken.
Vraag niet uitsluitend om een verzameling technische meldingen. Een bruikbare bevinding beschrijft het getroffen proces, de benodigde omstandigheden, het aangetoonde effect en een voorstel voor herstel. Daarmee kan het ontwikkelteam gericht aan de slag.
Selecteer expertise, geen plaats op een lijst
Wie met de zoekopdracht ‘Top Penetration Testing Companies in the US’ internationale aanbieders verkent, moet vervolgens toetsen welke partij werkelijk bij de opdracht past. Een bekende naam zegt weinig over de ervaring van het daadwerkelijk toegewezen team.
Vraag naar vergelijkbare projecten, kennis van de gebruikte cloudomgeving en ervaring met toepassingen die taalmodellen aan bedrijfssystemen koppelen. Bespreek hoe de leverancier bevindingen onderbouwt en welke ondersteuning na oplevering beschikbaar is.
Vraag een geanonimiseerd voorbeeldrapport op en vraag wie de hertest uitvoert. Maak ook afspraken over opslag, toegang en verwijdering van onderzoeksgegevens.
Vergelijk offertes op dezelfde afbakening. Anders vergelijk je mogelijk een beperkte scan met een diepgaand onderzoek, terwijl beide onder dezelfde commerciële noemer worden aangeboden.
Maak herstel onderdeel van de release
Een onderzoeksrapport is geen eindstation. Wijs iedere bevinding toe aan een eigenaar, bepaal de herstelprioriteit en reserveer tijd voor controle van de oplossing. Leg ook vast wie resterende risico’s mag accepteren.
Bewaar relevante testgevallen voor volgende versies. Herhaal ze wanneer het model, de instructies, de gegevensbronnen of de beschikbare functies veranderen. OWASP adviseert beveiligingstests voor taalmodeltoepassingen in het ontwikkelproces op te nemen.
Meet vervolgens niet alleen hoeveel problemen zijn gevonden, maar ook welke zijn opgelost en opnieuw gecontroleerd. Oefen hoe de organisatie de assistent kan uitschakelen zonder het bedrijfsproces stil te leggen.
Veilig opschalen begint daarmee niet bij vertrouwen in een overtuigend antwoord, maar bij aantoonbare grenzen. Dat maakt de stap naar productie een beter onderbouwde beslissing.
