Voor overheid en bedrijfsleven is een uitgebreide handreiking samengesteld ter voorkoming van discriminatie door algoritmen. Daarin wordt stap voor stap uitgelegd hoe organisaties die kunstmatige intelligentie willen inzetten, kunnen voorkomen dat bepaalde groepen stelselmatig worden benadeeld.
De opdrachtgever, het ministerie van Binnenlandse Zaken, heeft de Handreiking Non-Discriminatie by Design onlangs naar de Tweede Kamer gestuurd. Een uitgebreid Nederlands-Belgisch onderzoeksteam heeft gekeken naar technische, juridische en organisatorische voorwaarden die bij artificial intelligence (ai) in acht moeten worden genomen.
Algoritmen worden steeds vaker ingezet om risico-gestuurd te werken en geautomatiseerde besluiten te nemen. Het schrijven geeft tien regels waarmee misstanden als de kindertoeslagaffaire bij de Belastingdienst zijn te voorkomen.
Zo moet bij algoritmen worden gecontroleerd of er ergens sprake is van indirecte discriminatie. De onderzoekers spreken zich uit tegen het gebruik van postcodegebieden door bijvoorbeeld een predictive policing-systeem. Als de politie op basis hiervan het advies krijgt om veel te surveilleren in de Bijlmer of de Haagse Schilderswijk, dan is het risico op zichzelf vervullende voorspellingen groot, zo wordt gesteld.
Recht op non-discriminatie
Veel aandacht krijgt het recht op non-discriminatie. Dit gevaar dreigt als een ai-systeem leert van menselijke beslissingen die discrimineren. De handreiking maakt ontwikkelaars bewust van dit risico en biedt handvatten om dit te voorkomen. Daarvoor worden belangrijke juridische kaders vertaald naar operationele ontwerpprincipes.
De Handreiking onderscheidt zes stappen voor het ontwikkelen en toepassen van algoritmen. Begonnen wordt met het vaststellen van de probleemdefinitie, het verzamelen van data en de dataselectie. Daarna volgen het bepalen van een beleid voor automatische besluitvorming, de implementatie en de toetsing daarvan.
Voorgesteld wordt dat organisaties belanghebbenden en relevante groepen in de samenleving al vanaf het begin betrekken bij de ontwikkeling van het algoritme. Externe, onafhankelijke experts moeten gedurende het hele proces kritisch meekijken. Ook moeten personen ten aanzien waarvan automatische besluiten worden genomen daarvan op de hoogte worden gesteld. Ze moeten daar bezwaar tegen kunnen aantekenen. Verder moet het systeem worden stopgezet bij geconstateerde fouten en gebreken. Het hele proces dient aan permanente monitoring worden onderworpen.
De Handreiking is samengesteld door een team van onderzoekers van Universiteit Tilburg, TU Eindhoven University of Technology, Vrije Universiteit Brussel en het College voor de Rechten van de Mens.
