Tools van TU/e onthullen 'geheim' van ai-model

Promovendus Dennis Collaris zet flinke stap vooruit bij uitlegbare ai

Dit artikel delen:

Aan de TU Eindhoven zijn nieuwe software-tools ontwikkeld om de output van artificial intelligence-modellen (ai) te verklaren. Deze interactieve tools voor visualisatie bieden inzicht in de ‘denkprocessen’ van zulke modellen. Ze helpen de 'geheimen' van zelflerende systemen te ontrafelen. Promovendus Dennis Collaris deed onderzoek.

Collaris promoveerde onlangs aan de TU/e op nieuwe benaderingen om machine learning-modellen te interpreteren vanuit verschillende perspectieven: van lokale uitleg van enkelvoudige voorspellingen, tot globale verklaring van het hele model. De onderzoeker toonde aan dat voorspellingen van zelflerende modellen uitlegbaar zijn.

'Explainable ai'

"Toezichthouders zitten te springen om explainable ai"

De behoefte aan 'explainable ai' is groot, reden waarom zulke onderzoeken veel aandacht trekken. Steven Maijoor, die als directeur van De Nederlandsche Bank is belast met het toezicht op de Nederlandse financiële sector, onderstreepte onlangs de noodzaak van een solide praktisch raamwerk dat verklaart hoe ai-systemen tot bepaalde conclusies komen.

Toezichthouders zitten daar om te springen, zeker nu 'open finance' op komst is. Open finance gaat verder dan de gegevens en diensten die bij banken beschikbaar zijn. Daarbij gaat het niet alleen om betalingsgegevens, maar ook om gegevens over investeringen, sparen, leningen en verzekeringen, zoals schadehistorie. Gegevens die financiële instellingen kunnen helpen nieuwe producten te ontwikkelen en risico's beter in te schatten. Om de stap naar open finance te maken, moeten eerst fundamentele vragen worden beantwoord, mede over de werking van ai-systemen.

Uitlegbaarheid

Promovendus Collaris toont ook aan dat je de parameters van ‘uitleg-technieken’ zorgvuldig moet overwegen en onzekerheid helder moet aangeven. Het schandaal rond de toeslagenwet laat zien dat uiterste voorzichtigheid is geboden. Een verkeerde voorspelling door een ai-systeem kan verregaande gevolgen hebben.

De Algemene verordening gegevensbescherming (AVG - GDPR) stelt daarom dat uitlegbaar moet zijn hoe een model tot een bepaalde conclusie komt. Volgens Collaris is dat echter behoorlijk lastig als het gaat om zelflerende ai-systemen. Op basis van een berg data spuwt een spreekwoordelijke black box een antwoord uit. De manier waarop het model tot dit antwoord komt, is niet zomaar te achterhalen.

De wetenschapper legt uit dat een computermodel geen vastomlijnd stappenplan kent. Gaandeweg komt zo’n model erachter welke kenmerken van bijvoorbeeld potentiële klanten van een verzekeraar aangeven dat er een kans bestaat dat ze fraude willen plegen. Zelflerende modellen kunnen aantoonbaar bruikbare aanbevelingen doen. Probleem is dat ze geen motivaties geven. En die zijn nodig bijvoorbeeld als iemand voor een verzekering wordt geweigerd of een fraudeonderzoek in gang wordt gezet. Collaris merkte bij Achmea hoeveel moeite het data-wetenschappers kost hun voorspellende modellen uit te leggen.

Inzicht in de ziel

"Welke kenmerken gebruikt een zelflerend computermodel om een voorspelling te doen?"

Om erachter te komen welke strategie een computermodel heeft gekozen, is een duidelijk overzicht van de gebruikte en verwerkte data essentieel. Hiertoe ontwikkelde Collaris twee interactieve softwaretools, 'ExplainExplore' en 'StrategyAtlas', die gebruikers inzicht bieden in de ‘ziel’ van zelflerende modellen.

ExplainExplore laat zien welke kenmerken een zelflerend computermodel gebruikt om een voorspelling te doen. Deze softwaretool geeft aan hoe zwaar elk kenmerk in het model meerekent bij de bepaling van een voorspelling. Collaris noemt dat de 'feature-bijdrage'. Het is een interactief uitlegsysteem om verklaringen van individuele voorspellingen te onderzoeken. De tool geeft voor elke uitleg de context door vergelijkbare prognoses te presenteren en de impact van kleine inputverstoringen te laten zien.

Als tweede introduceert Collaris de StrategyAtlas. Deze visuele benadering van analyse maakt een globaal begrip van complexe machine-leermodellen mogelijk. Dit gebeurt door de identificatie en interpretatie van verschillende model-strategieën.

Deze model-strategieën worden geïdentificeerd in een op projectie-gebaseerde Strategiekaart visualisatie. Data-wetenschappers kunnen de validiteit van deze strategieën vaststellen door kenmerkwaarden en bijdragen te analyseren met behulp van warmtekaarten, dichtheid-grafieken en beslisboom-abstracties.

x

Om te kunnen beoordelen moet u ingelogd zijn:

Dit artikel delen:

Uw reactie

LET OP: U bent niet ingelogd. U kunt als gast reageren maar dan wordt uw reactie pas zichtbaar na goedkeuring door de redactie. Om uw reactie direct geplaatst te krijgen moet u eerst rechtsboven inloggen of u registreren

Vul uw naam in
Vult u een geldig e-mailadres in
Vult u een reactie in
Jaarbeurs b.v. gaat zorgvuldig en veilig om met uw persoonsgegevens. Meer informatie over hoe we omgaan met je data lees je in het privacybeleid
Als u een reactie wilt plaatsen moet u akkoord gaan met de voorwaarden

Stuur dit artikel door

Uw naam ontbreekt
Uw e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×
article 2022-07-22T09:12:00.000Z Alfred Monterie
Wilt u dagelijks op de hoogte worden gehouden van het laatste ict-nieuws, achtergronden en opinie?
Abonneer uzelf op onze gratis nieuwsbrief.