Deze opinie is van een externe deskundige. De inhoud vertegenwoordigt dus niet noodzakelijk het gedachtegoed van de redactie.

Ai-governance, -assurance en -audit (en verschillen)

Computable Expert

Jurriaan Krielaart
Regional director, Dataiku. Expert van Computable voor de topics Datamanagement en Datacenters.

Het concept van ai-governance duikt in toenemende mate op bij bedrijven die proactief werken aan verantwoordelijke, veilige en betrouwbare ai. Sinds kort bestaat er ook zoiets als ai-assurance en ai-audits. De vraag is of deze ontwikkelingen niet juist extra complexiteit en daardoor onzekerheid in de hand werken. Wat zijn de verschillen?

Een ai-governance-kader dwingt organisatorische prioriteiten af door middel van gestandaardiseerde regels, processen en vereisten die vorm geven aan hoe ai wordt ontworpen, ontwikkeld en ingezet. Deze organisatorische prioriteiten worden bepaald door verschillende factoren. Bijvoorbeeld door intern beleid en externe regelgeving of de implementatie van ai die moet voldoen aan vastgestelde drempels voor vooringenomenheid, eerlijkheid of fout-ratio's.

Gestandaardiseerde regels, processen en vereisten betekenen dat het voldoen aan prioriteiten niet wordt overgelaten aan toeval. In plaats daarvan worden praktijken geïdentificeerd en geïmplementeerd. Voer de overeengekomen test uit vóór de implementatie en documenteer hem. Wordt er overwogen om een model te implementeren dat de grenzen verlegt van de prioriteiten rond vooringenomenheid, eerlijkheid of drempelwaarden voor foutenpercentages omdat de bedrijfswaarde veelbelovend is? Dan moet dit worden voorgelegd aan een intern comité. 

Ten slotte is het belangrijk om zowel de ontwerp-, ontwikkelings- en implementatiefase binnen de scope te hebben. Op deze manier zorg je ervoor dat prioriteiten, regels, processen en vereisten aanwezig zijn bij een use -ase vanaf de conceptfase tot en met de post-implementatie. Dit schept intern vertrouwen dat de ingezette modellen hun beoogde doelstellingen zullen blijven halen. Mocht dit niet het geval zijn, dan zullen tegenvallende prestaties vroeg of laat worden vastgesteld en worden gecorrigeerd of, als dat niet mogelijk is, kan het model buiten gebruik worden gezet.

Ai-assurance

"Ai, en in het bijzonder op machine learning gebaseerde modellen, zijn aan verandering onderhevig"

Omdat vertrouwen een breed begrip is en wijdverspreid aanwezig is binnen ai-projecten, gaat ai-assurance na hoe dit proactief is te verstrekken. Dit in tegenstelling tot de dwingende of straffende middelen waarop regelgeving zich berust. Er is een lange lijst van mechanismen die worden gezien als 'technieken om ai-systemen te verzekeren' en derden ('assurance-providers') worden gezien als belangrijke partners om dit te bewerkstelligen. 

Maar ai, en in het bijzonder op machine learning gebaseerde modellen, zijn aan verandering onderhevig. Ai-assurance levert echter vaak een point-in-time-beeld op, zonder garantie dat de situatie (en dus ook de zekerheid) altijd zo blijft. Als assurance-praktijken worden genormaliseerd en gereguleerd, dan is er ook informatie over modellen en use-cases door de tijd heen nodig. Ai-governance faciliteert dit. 

Een voorwaarde voor succesvolle assurance-activiteiten is dat de juiste informatie intern beschikbaar is. Dergelijke informatie komt bijvoorbeeld vanuit business- en ops-teams, in de vorm van spreadsheets, e-mails en notulen. Wanneer een organisatie sterke governance-praktijken hanteert, kan dergelijke informatie in een gecentraliseerde opslagplaats worden bewaard. Op deze manier is alle belangrijke en relevante informatie beschikbaar. 

Ai-audit

Een van mijn favoriete citaten over ai-audits komt van het Engelse Digital Regulator Cooperation Forum (DRCF). In een recente paper over het ai-auditlandschap noemden de geraadpleegde belanghebbenden de ai-auditindustrie een 'grotendeels ongereguleerde markt voor auditing (...) met het risico een Wilde Westen te worden waar nieuwkomers de markt voor algoritme-auditing kunnen betreden zonder enige garantie van kwaliteit.'

Het Wilde Westen was wetteloos en beheerst door angst, kracht en geweld. Succes in deze contreien hing af van intriges, manipulaties, en toegang tot wapens (de technologie van die tijd). Deze eigenschappen zijn niet iets wat men typisch associeert met de rol van audits: een klinisch proces dat feiten zoekt, verteert en reproduceert om nuchtere conclusies te trekken over de toestand van een zaak.

In een wereld waar de druk toeneemt op organisaties om klaar te zijn voor ai-regulering en om ai op een verantwoorde manier aan te schaffen, te ontwikkelen en te gebruiken, lijkt het middel om dit te bereiken te suggereren dat we op onze hoede moeten zijn. Dit is niet geruststellend, en wanneer we hierover nadenken in de context van ai-governance, zoals hierboven gedefinieerd, en ai-assurance, laat het een heleboel vragen onbeantwoord. Hieronder volgen er een paar.

De relatie

"Organisaties moeten worden verzekerd dat de risico's rondom ai op veel verschillende manieren worden aangepakt"

Organisaties moeten worden verzekerd dat de risico's rondom ai op veel verschillende manieren worden aangepakt, en dat dit ongetwijfeld positieve gevolgen zal hebben op de gezondheid van het bedrijf en de acceptatie van klanten of eindgebruikers van diensten die ai omvatten. 

De grote 'echter' hier is dat de middelen om vertrouwen in ai te creëren niet moeten worden gezien als pleisters, maar als een integraal onderdeel van het ai-proces: er is informatie nodig voordat het kan worden ondervraagd, verteerd en opnieuw gepresenteerd. De startvraag moet daarom niet zijn: kan ik ai-assurance of - audits gebruiken om vertrouwen op te bouwen of om iets te bewijzen over hoe mijn bedrijf ai ontwikkelt, aanschaft en gebruikt? In plaats daarvan moeten de startvragen zijn: 

  • Wat zijn de prioriteiten van de organisatie? 

  • Wat zijn de risico's?

  • Wat zijn volgens ons de juiste operationele procedures om consequent toe te passen?

  • Wat is de juiste manier om informatie te documenteren over hoe we aan onze prioriteiten voldoen en onze risico's aanpakken?

  • En hoe kunnen we hier in de toekomst gebruik van maken wanneer we aan onszelf, onze klanten en potentiële regelgevers of certificeringsinstanties moeten bewijzen dat we hebben gedaan wat we hebben gezegd?

x

Om te kunnen beoordelen moet u ingelogd zijn:

Dit artikel delen:

Uw reactie

LET OP: U bent niet ingelogd. U kunt als gast reageren maar dan wordt uw reactie pas zichtbaar na goedkeuring door de redactie. Om uw reactie direct geplaatst te krijgen moet u eerst rechtsboven inloggen of u registreren

Vul uw naam in
Vult u een geldig e-mailadres in
Vult u een reactie in
Jaarbeurs b.v. gaat zorgvuldig en veilig om met uw persoonsgegevens. Meer informatie over hoe we omgaan met je data lees je in het privacybeleid
Als u een reactie wilt plaatsen moet u akkoord gaan met de voorwaarden

Stuur dit artikel door

Uw naam ontbreekt
Uw e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×
article 2022-12-02T16:38:00.000Z Jurriaan Krielaart


Wilt u dagelijks op de hoogte worden gehouden van het laatste ict-nieuws, achtergronden en opinie?
Abonneer uzelf op onze gratis nieuwsbrief.