Statistisch gezien kun je betalen. Alleen leef je niet statistisch.

Een computer berekent of er bij jou iets te halen valt. Dan kijkt hij even op je Instagram.

Dat is geen toekomstbeeld. De Autoriteit Persoonsgegevens onderzocht 29 incassobureaus en vond het deze week.

Algoritmes bepalen op basis van je woonplaats, kredietscore en betaalgeschiedenis bij wie de kans op succes het grootst is. Daarna zoeken ze op internet en in openbare registers verder: contactgegevens, bankgegevens, je activiteit op sociale media.

De AP ziet risico's op fouten, discriminatie en ongelijke behandeling. En het vermoeden dat sommige besluiten volledig automatisch worden genomen. Dat is verboden.

Statistisch kunnen betalen is iets anders dan kunnen betalen

Dit is de kern.

Een model zegt: iemand zoals jij, in deze wijk, met dit inkomen en dit betaalgedrag, kan die 800 euro opbrengen. Gemiddeld klopt dat waarschijnlijk.

Maar jij bent geen gemiddelde. Jij bent die ene met een partner die net is weggevallen. Met een kind dat ziek is. Met een auto die vorige week kapot ging en die je nodig hebt om te werken.

Het model ziet dat niet. Niet omdat het slecht gebouwd is, maar omdat het dat nooit kan zien. Het rekent met wat gemeten is. Jouw leven staat niet in de dataset.

Een vakantiefoto op Facebook betekent niet dat je geld hebt. Misschien betaalde je moeder. Misschien is die foto van vorig jaar.

Daar komt het tweede bij: AI heeft geen empathie. Dat is geen verwijt, het is een eigenschap. Een systeem kan niet horen dat iemands stem breekt. Het kan niet besluiten om deze ene keer twee weken te wachten. Een mens kan dat wel — en bij schulden is dat vaak precies het verschil tussen een oplossing en een afgrond.

Waarom dit een morele vraag is, geen technische

Een model dat sorteert op "kans op succes" doet exact wat je vraagt. Het probleem is wát je vraagt.

Want wie staat onderaan die lijst? Mensen bij wie weinig te halen valt. Mensen in een wijk met een slechte score. Mensen die al klem zitten.

Vergelijk het met een school die alleen leerlingen aanneemt die toch al goede cijfers halen. De cijfers van die school gaan omhoog. Maar de school doet zijn werk niet meer.

Een systeem dat optimaliseert op opbrengst is niet neutraal. Het kiest. Alleen staat die keuze nergens opgeschreven, en heeft niemand hem ondertekend.

AP-bestuurslid Katja Mur zegt het zo: je tast volledig in het duister terwijl AI over je beslist.

Dit gaat niet alleen over incasso

Dezelfde vraag ligt onder elke sollicitatieselectie, elke fraudescore, elke roosterplanning waarin een systeem bepaalt wie welke dienst krijgt.

Overal geldt hetzelfde:

• Een systeem mag sorteren. Beslissen is mensenwerk.
• Een kans is geen feit. "80% kans dat hij kan betalen" betekent ook: één op de vijf keer heb je het mis over iemands leven.
• Als niemand kan uitleggen waarom het systeem dit uitspuugt, gebruik het dan niet voor besluiten met gevolgen.
• "Het systeem gaf het aan" is geen verantwoording. Het is het ontlopen ervan.

De techniek is niet het probleem. Het probleem is dat "de computer zei het" zo'n comfortabel antwoord is.

Dat antwoord mag niet genoeg zijn.