Discriminatie ligt op de loer bij gebruik van big data

Een staatscomputer bepaalt of jij een fraudeur bent. Vandaag de dag is dat allesbehalve een denkbeeldig scenario. De overheid maakt steeds meer gebruik van geautomatiseerde beslissingen, op basis van grote hoeveelheden data, ingeladen door ambtenaren. Dat biedt absoluut kansen, zoals efficiënte dienstverlening of een hogere pakkans van criminelen. Maar bestuurders en beleidsmakers zien de risico's onvoldoende onder ogen. Risico's die de waarden van onze samenleving aantasten.

Algoritmes zijn voor het publiek onzichtbare rekenformules die persoonsgegevens combineren, om er voorspellingen op te baseren, adviezen te geven, of beslissingen mee te maken. De formules banen zich een weg door grote hoeveelheden data en ontdekken zo verbanden die mensen nooit zouden vinden. Ze zorgen dat beleid doeltreffend wordt uitgevoerd, zonder menselijke slordigheden.

Omdat wij mensen de formules instellen, moeten we ook zelf afdwingen dat ze onze menselijke waarden weerspiegelen. Dat vraagt om meer bewustzijn en transparantie. Bijna iedere gemeente gebruikt dit soort geautomatiseerde besluitvorming. Zo voorspellen ze wanneer vuilnisauto's aan vervanging toe zijn, leiden ze verkeersstromen in goede banen en beheren ze energienetwerken op een duurzame manier. Ook de Rijksoverheid, de politie en andere publieke instanties gebruiken dit type kunstmatige intelligentie.

Self-fulfilling prophecy

Maar zoals zo vaak bij de introductie van nieuwe technologieën, ontnemen de voordelen het zicht op de nadelen. Met als gevolg dat die pas in ons blikveld verschijnen, als het te laat is. Zo kunnen algoritmes discriminerend werken, omdat ze kwetsbare groepen vaak nog verder benadelen.

Neem het gebruik van 'recidive software' in de VS. Dit zijn ondoorzichtige algoritmes die het risico inschatten of een oud-crimineel een misdaad herhaalt. De software geeft mensen met een donkere huidskleur structureel hogere risico-scores dan mensen met een witte huidskleur, ongeacht eerdere veroordelingen. Of kijk naar het gebruik door de politie om misdaad te voorspellen. Als het algoritme zich richt op diefstal of drugsbezit, wordt de aandacht van de politie op dit soort misdaden versterkt. Deze aandacht leidt tot meer informatie over deze misdaden, waardoor de inzet van de politie hierop wordt geïntensiveerd. Dit kan ertoe leiden dat we andere misdaden negeren, zoals witteboordencriminaliteit. Zo geeft op data gestuurde besluitvorming zichzelf vaak gelijk, een self-fulfilling prophecy.

Hetzelfde kan gebeuren met systemen die fraude opsporen of spijbelaars aanpakken. Sommige groepen mensen krijgen meer controles op basis van dubieuze criteria, zoals huidskleur, inkomen of geslacht. Data uit die handhaving worden teruggevoerd in het systeem en leiden tot een nog grotere focus op mensen die zich al vaker een buitenstaander voelen.

Om dit soort discriminatie te voorkomen pleit D66 voor meer transparantie bij het instellen van de algoritmes en de gekozen criteria. Dus als overheidsinstanties algoritmes gebruiken bij besluitvorming, wil ik dat ze op een website publiceren naar welke kenmerken de rekenformule op zoek is en welke data worden gebruikt.

Want hoeveel kansen technologie ook biedt, we mogen niet vergeten dat zij nooit neutraal, of objectief is. Algoritmes volgen blind de aannames van programmeurs. Overheden moeten altijd kunnen uitleggen hoe besluiten tot stand komen. Alleen dan kunnen we zorgen dat technologie bijdraagt aan een menselijke samenleving.

Technologie bepaalt niet de toekomst, maar de wijze waarop wij technologie inzetten wel.

Lees ook: 'Ons oordeel is belangrijker dan Big Data'

Geef mij uw data en ik zeg u wie u bent: dat is de belofte van de enorme datasets die steeds meer bepalend zijn in ons leven. Maar wat is dat Big Data nou precies? In ieder geval gevaarlijk vindt journalist en onderzoeker Timandra Harkness.