€55 miljoen later: waarom AI-projecten beginnen bij data, niet bij AI

UWV stopt met de Bemiddelingsservice. Dat was een AI-systeem dat werkzoekenden en vacatures op vaardigheden moest matchen. Er is sinds 2021 circa €55 miljoen in gestoken (lees het artikel op Recruitmenttech.nl). De conclusie van het Adviescollege ICT-toetsing is leerzaam: het ging niet mis op de AI zelf, maar op alles eromheen.

Wat ging er mis, in gewone taal

De software ging uit van vaardigheden in profielen. Die stonden er vaak niet in. Er werd een pakket gekocht, dat daarna toch maatwerk werd. Er kwamen realtime koppelingen met verouderde systemen, en die bleken onbetrouwbaar. En het belangrijkste: niemand had vooraf vastgelegd wat een “goede match” is. Daardoor kon ook niemand aantonen dat het nieuwe systeem beter werkte dan het oude.

Kortom: er werd een oplossing gebouwd voordat helder was welke data er was en welke uitkomst gewenst was.

Begin bij de data

Een goede analyse start met twee simpele vragen:

1. 01
   Welke data hebben we écht? Niet welke data we zouden willen, maar wat er nu in de systemen staat, en in welke kwaliteit.
2. 02
   Welke output willen we zien? Wanneer is het resultaat goed, en hoe meten we dat?

Pas als die twee helder zijn, kies je een oplossing. Valt het gat tussen beide groot uit? Dan is dat je eerste project. Het is geen bijzaak die de leverancier wel even oplost.

Waarom je complexiteit moet ontrafelen

Complexe projecten falen zelden op één grote fout. Ze falen op tien kleine aannames die tegelijk spelen. Bij UWV liepen techniek, data, algoritme en wetgeving door elkaar. Zo wordt het onmogelijk om te zien wat werkt en wat niet.

Door complexiteit uit elkaar te halen, maak je haar beheersbaar:

• Test eerst klein of de oplossing waarde heeft.
• Koppel pas daarna, en begin met de simpelste koppeling die werkt.
• Bouw stopmomenten in, zodat je niet pas na jaren ontdekt dat het niet werkt.

Complexiteit wegpoetsen werkt niet. Complexiteit ontrafelen wel.

Tot slot

Simpel maken is geen versimpelen. Het is precies weten wat je hebt, wat je wilt, en wat ertussen zit.