Gemeente stopt met gebruik algoritme

De gemeente Nissewaard stopt met het gebruik van een algoritme als hulpmiddel om rechtmatigheid van bijstandsuitkeringen vast te stellen. Onderzoek door TNO wijst uit dat het algoritme technisch gezien mankementen vertoont. Na de eerste signalen van TNO hierover is het gebruik al voorlopig gestaakt. De gemeente benadrukt dat geen enkele burger op enige wijze is benadeeld.

‘Ieder jaar zijn we ruim 34 miljoen euro kwijt aan bijstandsuitkeringen’, legt wethouder Bal uit. ‘Om na te gaan of iedereen die een uitkering krijgt ook recht heeft op die uitkering, voeren we een rechtmatigheidsonderzoek uit. In het verleden hield dat in dat iedereen die een uitkering kreeg met zijn administratie naar de gemeente moest. Dat is niet klantvriendelijk te noemen, naast het feit dat het veel tijd kost van onze medewerkers. Daarom zijn we overgestapt naar het gebruik van algoritmen.’ Alle dossiers werden door het algoritme gehaald en daar kwam een lijstje uit met personen waar nader naar gekeken moest worden. Die mensen werden dan door medewerkers van de gemeente benaderd. ‘In de meeste gevallen bleek alles te kloppen’, aldus de wethouder.

Nissewaard heeft TNO gevraagd om onderzoek te doen naar het algoritme om extra transparantie te bieden richting de inwoners en tegelijk te controleren of het systeem naar behoren functioneert, met inachtneming van alle juridische en ethische waarden. De hoofdconclusie van TNO in het eindrapport is dat Nissewaard en bouwer van het algoritme, Totta Data Lab, duidelijk aandacht hebben besteed aan verschillende aspecten van verantwoord gebruik, maar dat het algoritme in de huidige vorm van onvoldoende niveau is om verantwoord in te kunnen zetten. Gedurende het TNO onderzoek was door de gemeente al op de pauzeknop gedrukt op basis van de eerste (concept)resultaten, maar nu is door de gemeente besloten om te stoppen met het gebruik van het algoritme van Totta Data Lab. Het algoritme presteert technisch onvoldoende volgens de richtlijnen die door de Europese Commissie en de Rijksoverheid zijn opgesteld.

Op een tweetal punten presteert het algoritme onvoldoende volgens TNO. De auditeerbaarheid van het algoritme is gebrekkig. Dit betekent dat het in de huidige vorm niet goed mogelijk is om te controleren of het algoritme voldoet aan inhoudelijke en procedurele eisen. Ook de mogelijkheid om de doeltreffendheid van het algoritme vanuit een technisch oogpunt te onderzoeken is niet voldoende. De oorzaak voor beide punten is dat de resultaten van het AI-algoritme niet robuust genoeg zijn. Dit betekent dat het invoeren van dezelfde data niet altijd hetzelfde resultaat geeft. Deze constatering is van belang, omdat de gemeente deze scores gebruikt voor het kiezen van de te onderzoeken dossiers door ambtenaren. De bovengenoemde bevindingen zijn in het rapport van TNO meer in detail uitgewerkt en toegelicht.

Het feit dat de gemeente stopt met de samenwerking met Totta Data Lab noemt Peter van der Velden (Volkspartij Nissewaard)  ’een overwinning voor die mensen die gedupeerd zijn door het systeem’. De Volkspartij was één van de partijen die al eerder aandrong op het stoppen van het algoritmegebruik. ‘De mensen die gecontroleerd werden, kregen onterecht het stempel dat ze iets hadden gedaan wat niet door de beugel kon.’ Wethouder Bal geeft echter aan dat de punten die door de diverse raadspartijen in de debatten werden aangevoerd, van een andere aard waren dan de punten waarop de gemeente besloten heeft om te stoppen met het gebruik van het algoritme.

Na de zomer zal het college een voorstel aan de raad doen over de wijze waarop in de toekomst onrechtmatigheden bij uitkeringen adequaat kunnen worden opgespoord. Totta Data Lab gaat zich weliswaar buigen over verbetering van het systeem, maar daar gaat te veel tijd in zitten en daar wil het college niet op wachten.  Wethouder Bal benadrukt nogmaals dat het gebruik van het algoritme geen effect heeft gehad op de uitkomst van de rechtmatigheidsonderzoeken. Het algoritme heeft altijd alleen het voorwerk gedaan. Er zijn geen uitkeringen beëindigd of aangepast alleen door het resultaat van het algoritme.