AI kan het niet eens worden over de hoogte van een plant (probeer het maar eens).

Hier is een test die je nu meteen kunt uitvoeren, in twee browsertabs, in vijf minuten. Kies een plant. Maakt niet uit welke. Zoek een redelijke referentiefoto ervan. Vraag drie verschillende LLM's (Learning Learning Managers) hoe hoog deze soort doorgaans wordt. Stel vervolgens dezelfde vraag nogmaals aan hetzelfde model, maar formuleer hem iets anders.

Je krijgt verschillende antwoorden. Die verschillen van elkaar. Die verschillen ook van zichzelf. Soms maar een paar centimeter. Soms wel een hele orde van grootte.

Dit zou de makkelijkste vraag moeten zijn. Planten hebben Latijnse namen. Ze hebben saaie, goed gedocumenteerde feiten: bladvorm, bloeiperiode, typische volwassen grootte. Dat is wat botanische boeken zijn: een lange catalogus van voorspelbare antwoorden. Dus natuurlijk ging ik ervan uit dat AI het wel zou snappen.

Een simpele taak voor AI: totdat…

Omdat planten zo precies benoemd worden, dacht ik dat dit mechanisch zou zijn: neem de soortnaam, haal het bekende verspreidingsgebied op, klaar. De specifieke test die ik een paar weken geleden deed, zag er zo uit. Dezelfde plant, een vrij gangbare kamerplant. Drie modellen, drie antwoorden:

Model A: "wordt binnenshuis doorgaans zo'n 1-2 meter hoog."“
Model B: "kan onder de juiste omstandigheden een hoogte van 4 tot 6 meter bereiken."“
Model C: "blijft een kleine plant, meestal kleiner dan 60 cm."“

Dus, wat wordt het? Een kamerplant van zestig centimeter of een monster van zes meter? Kies maar.

Daarna ging ik terug naar model A. Ik stelde dezelfde vraag, maar met een andere formulering. "Hoe hoog wordt deze plant?" versus "Wat is de gemiddelde volwassen hoogte van deze soort?"“

Een ander getal. Met een factor drie.

En, belangrijker nog, de antwoorden werden allemaal met exact dezelfde mate van zekerheid gegeven. Geen ontwijkende antwoorden. Geen "het hangt ervan af." Geen "ik weet het niet zeker, maar." Gewoon drie verschillende cijfers, gepresenteerd als feiten, door instrumenten die we steeds vaker geacht worden te vertrouwen voor ons onderzoek.

Het gaat hier niet om moeilijke vragen.

Als we zouden discussiëren over waar je de beste pizza in Gent kunt vinden, dan is meningsverschil natuurlijk prima. Als we zouden discussiëren over de vraag of een strategie verstandig is, ook goed. Mensen verschillen nu eenmaal van mening over de te nemen beslissingen.

Maar een plant heeft een bepaalde hoogte. Die informatie bestaat. Je vindt het in tuinboeken. Het staat op het etiket in het tuincentrum. Het staat op Wikipedia. Het is iets waar het internet het al tientallen jaren over eens is.

Het is een vertrouwensprobleem, geen gebrek aan functionaliteit.

Dit is iets waar je echt even over na moet denken. Als een tool je één keer een verkeerd antwoord geeft, is dat een bug. Je kunt er een omweg voor vinden. Je leert om dat te controleren. Prima.

Als een tool je bij elke vraag een ander, fout antwoord geeft, is dat geen bug. Dat is een fundamenteel andere categorie tool. Zo'n tool kun je helemaal niet vertrouwen, want de volgende keer dat je ernaar vraagt, kan het ook fout zijn en je hebt geen manier om dat te weten.

En dit is het punt dat mensen vaak over het hoofd zien: hoe hoger de inzet, hoe minder je erop moet vertrouwen dat AI gelijk heeft. Niet omdat het kwaadaardig is, maar omdat het op tien verschillende manieren volkomen fout kan zijn, en je krijgt daar geen waarschuwing voor.

We vergiftigen de bron. Grote delen van het internet worden geschreven en herschreven door AI. AI gebruikt het internet als haar gemeenschappelijke bron van waarheid, en "waarheid" moet hier echt tussen aanhalingstekens staan. Onderweg maakt het schaamteloos fouten in historische feiten, citeert het mensen verkeerd, geeft het onjuiste botanische specificaties weer: noem maar op. Enkele weken later komt er een nieuw model voorbij om te "leren" van wat zijn voorganger schreef. Dit alles gebeurt volledig automatisch totdat we elk spoor kwijtraken van wat de oorspronkelijke, waarheidsgetrouwe bron was.

Hoe lossen we dit probleem op?

We stoppen met van het model te verwachten dat het een orakel is., en begin het te gebruiken waar het goed in is: Het produceren van concepten, verbindingscode en deterministische logica.. Als het kan, laat de AI dan een klein, saai script schrijven dat altijd dezelfde regels volgt: Valideer de invoer, zoek bekende bronnen op, vergelijk antwoorden en markeer afwijkingen.. Dat is beter dan “Vraag het opnieuw en hoop”.

Begin met deze regel: als een mens het antwoord niet gemakkelijk kan verifiëren, laat het model dan niet de uiteindelijke beslissing nemen. Dat is prima voor het opstellen van een e-mail. Het is ook bruikbaar voor het samenvatten van een vergadering. Het systeem is gebrekkig bij beslissingen die gevolgen hebben voor klanten, patiënten, studenten of iedereen die de feiten niet zelf kan controleren.

En hier is de praktische aanpak: zorg voor een vibe-coder in het team: iemand die snel kleine controles, scrapers, validators en spreadsheetformules kan leveren. Of huur ons in als het groter wordt dan "één script". Want de oplossing is zelden "één betere prompt". Het gaat erom vangrails rond het model te plaatsen, zodat de output voorspelbaar genoeg wordt om te vertrouwen.

Voor de variant van ditzelfde vertrouwensprobleem waarbij je AI vraagt om het volgende te doen... minder en het doet sowieso nog meer, lees verder Stop met me die AI-rommel voor te schotelen..