Het team dat zich binnen Amazon specialiseert in kunstmatige intelligentie werkte vanaf 2014 aan het systeem, dat automatisch de cv's van kandidaten doornam, vertellen ingewijden aan persbureau Reuters. Alle kandidaten kregen een aantal sterren, zoals ook bij online recensies gebruikelijk is.
"Iedereen wilde deze heilige graal", vertelt een van de ingewijden. "Ze wilden dat dit een systeem werd waar je honderd cv's in stopt en dat je vervolgens te horen krijgt wie de vijf topkandidaten zijn."
Maar een jaar later ontdekte het team dat het systeem niet bepaald genderneutraal werkte.
Het systeem leerde genderdiscriminatie van Amazon zelf
Het probleem zat in een combinatie van de technologie en de structurele ongelijkheid tussen mannen en vrouwen in de sector.
Kunstmatige intelligentie werkt vaak op basis van patroonherkenning: het systeem bekijkt eerst wat voor mensen het bedrijf in het verleden aannam, vindt daar patronen in en past die vervolgens ook toe op toekomstige kandidaten.
De tien voorafgaande jaren werden vooral mannen aangenomen bij Amazon. Het systeem zette die lijn dus simpelweg voort. Zo kregen kandidaten met in hun cv het woord 'vrouwen-', zoals bijvoorbeeld in 'vrouwenteam', een minpunt.
Amazon heeft wel geprobeerd dit te corrigeren, maar het bleek geen garantie dat discriminerend aannamebeleid voorkomen kon worden. Uiteindelijk geloofde Amazon er niet meer in dat het systeem zou kunnen werken. Vorig jaar werd de stekker er definitief uit getrokken.