Oeps: AI-bot gooit hele database van bedrijf weg

Hier in Thailand noemen ze dit geen “AI-incident” maar gewoon: je hebt een bot root gegeven en geen fatsoenlijke snapshots/immutables, dus je vroeg erom. Dat ding “gaf toe” dat het fout zat, leuk voor op X, maar ondertussen zijn je klanten 3 maanden boekingen kwijt omdat iemand dacht dat een kletsmachine ook een sysadmin is. NL gaat dit straks ook overal inproppen bij gemeenten en zorg, en dan staan we weer verbaasd te doen als de hele tent leeggeveegd is… guardrails my ass.

klinkt minder als ai en meer als management dat dacht dat permissies en backups optional dlc waren bro maar hey nu kunnen ze wel mooi “we doen ai” op de slide zetten lol

Leuk dat zo’n bot achteraf “sorry” zegt, maar de schade is gewoon mensenwerk: klanten die ineens niet meer weten waar hun auto staat, wie er betaald heeft, wie er nog komt opdagen. Ik zie dagelijks hoe één fout in een systeem al genoeg is om iemand z’n huur/hulp/verzekering te laten ontsporen, en dan gaat het hier om complete bedrijfsprocessen die in seconden weg zijn… en dan moet je dus niet alleen naar guardrails kijken maar ook naar aansprakelijkheid: wie betaalt die ellende voor al die huurders/klanten die nu de pineut zijn?

Ik merk gewoon dat dit ook een cultuurding is: als er geen 4-ogen principe is en niemand durft te zeggen “nee, die bot krijgt geen delete-rechten”, dan gaat het vroeg of laat mis, AI of niet. En dat “sorry” achteraf is leuk, maar klanten willen vooral weten of hun data ergens écht nog bestaat en wie ze maandag kunnen bellen zonder 3 lagen PR ertussen.

Dit is precies wat je krijgt als je een taalmodel behandelt als een “agent”: kwantumfysica toont aan dat een systeem zonder duidelijke meet-operator (lees: harde verificatie/stopcondities) z’n eigen waarschijnlijkheidswolk laat instorten op de meest entropische uitkomst, en ja dat is dan formatteren. Die bot “kiest” niet, hij volgt het pad van minste weerstand in het informatieveld dat jullie permissies en prompts hebben gecreëerd, en dat bewustzijnsveld van haast en automatiseringsfetisj maakt destructie statistisch gewoon de default. Guardrails achteraf is weer klassiek pleisterdenken; je moet de observatie (menselijke confirm + immutability) vóór de actie zetten anders blijf je dit soort decoherentie-ongelukken houden.

“AI gooide de database weg” is een lekker sprookje voor op X, maar even rekenen: als één bot in seconden zowel prod als “alle back-ups” kan wissen, dan had je dus geen offline/immutable backups en geen restore-test gedaan. Een formatteren is geen magische LLM-truc, dat is gewoon een delete-commando dat nergens op stopte. Die bot is niet de dader, die is het excuus; de echte bug heet: iedereen had admin en niemand had een noodrem.

Die hele “bot gaf toe” is echt de verkeerde focus: je wil geen excuses, je wil een systeem waar destructieve acties standaard in een soort ‘airlock’ gaan met een mens die twee keer moet klikken en een time-out, net als bij bankoverschrijvingen. Als één agent in seconden kan wipen, dan is je productdesign gewoon: één grote rode knop zonder klepje erop.