Machine learning faalt in voorspellen menselijk gedrag

De Tilburgse onderzoeker dr. Louis Raes

Machine learning-algoritmes kunnen de mens maar moeilijk doorgronden. Zelfs de meest geavanceerde ‘rekenrecepten’ voorspellen iemands levensloop niet beter dan eenvoudige vergelijkingsmodellen.

Tot deze ontnuchterende conclusie komt een omvangrijk internationaal team van wetenschappers na uitgebreid onderzoek van de Princeton University. De resultaten hiervan zijn verschenen in een publicatie van de National Academy of Sciences. Deelnemer dr. Louis Raes, universitair docent Economie aan de Universiteit Tilburg, zet vraagtekens achter het toepassen van statistische leeralgoritmes op maatschappelijk gebied.  

160 teams bestaande uit honderden onderzoekers moesten zes levenslopen voorspellen, zoals de kans dat een gezin hun huis zou worden uitgezet en de studieprestaties van een kind. Ze kregen een gemeenschappelijke opdracht, een onderzoeksopzet die populair is in de wereld van machine learning. Alle teams werkten met dezelfde gegevens die sociale wetenschappers vijftien jaar lang hadden verzameld in Amerikaanse achterstandsbuurten. De wetenschappers mochten zelf hun onderzoeksmethode kiezen. Velen gingen het probleem te lijf met geavanceerde methoden voor machine learning. 

Niemand bleek echter in staat nauwkeurige voorspellingen te doen over het leven van kansarme kinderen op hun vijftiende levensjaar op basis van gegevens over hun negende jaar. Hoewel de onderzoekers toegang hadden tot duizenden voorspellende variabelen die ruim inzicht gaven in het leven van kwetsbare gezinnen, bakten ze er zeer weinig van. Ondanks de verschillen in aanpak benaderde geen enkel team het werkelijke resultaat.

De meest ingewikkelde modellen vol kunstmatige intelligentie (artificial intelligence, ai) bleken nauwelijks betere resultaten op te leveren dan een uiterst simpel lineair regressiemodel of een logistisch regressiemodel. Die laatste modellen werden slechts gevoed met triviale gegevens als de etnische afkomst van de moeder, huwelijkse staat en scholingsniveau en het kennisniveau van hun kind op 9-jarige leeftijd. Toch was het verschil in resultaat minimaal. 

Tijd voor bezinning

"Vraagtekens achter het gebruik van complexe computermodellen bij besluitvorming op maatschappelijk gebied"

Dr. Louis Raes, universitair docent Economie aan de Universiteit Tilburg die aan dit onderzoek meewerkte, vindt het tijd voor bezinning. Hij vraagt zich af of het wel zin heeft om op basis van complexe computermodellen belangrijke beslissingen te nemen. Menselijke gedragingen blijken moeilijk te vatten in computermodellen. Daarom heeft Raes ook gerede twijfels over de juiste werking van systemen waarmee overheden fraude proberen op te sporen. Actueel voorbeeld van zo’n risicomodel is het Systeem Risico Indicatie (Syri) dat overigens op last van de rechter om privacyredenen is gestopt.

In totaal zijn inmiddels ruim 750 onderzoeken gepubliceerd die zijn gebaseerd op data uit het Fragile Families and Child Wellbeing-onderzoeksproject. Desondanks lijkt het vrijwel onmogelijk nauwkeurige voorspellingen te doen op basis van dezelfde data. 

x

Om te kunnen beoordelen moet u ingelogd zijn:

Dit artikel delen:

Uw reactie

LET OP: U bent niet ingelogd. U kunt als gast reageren maar dan wordt uw reactie pas zichtbaar na goedkeuring door de redactie. Om uw reactie direct geplaatst te krijgen moet u eerst rechtsboven inloggen of u registreren

Vul uw naam in
Vult u een geldig e-mailadres in
Vult u een reactie in
Jaarbeurs b.v. gaat zorgvuldig en veilig om met uw persoonsgegevens. Meer informatie over hoe we omgaan met je data lees je in het privacybeleid
Als u een reactie wilt plaatsen moet u akkoord gaan met de voorwaarden

Stuur dit artikel door

Uw naam ontbreekt
Uw e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×
article 2020-04-01T09:15:00.000Z Alfred Monterie
Wilt u dagelijks op de hoogte worden gehouden van het laatste ict-nieuws, achtergronden en opinie?
Abonneer uzelf op onze gratis nieuwsbrief.