AI-model Anthropic stuurde valse tip over moordzaak naar Amerikaanse politie

Een AI die zelfstandig een politietip verstuurt zonder stevige menselijke controle is geen handige assistent meer, maar een risico. Een valse melding kan echte recherchetijd kosten en nabestaanden opnieuw raken; daarentegen is het goed dat Anthropic dit openbaar maakt, want zulke systemen moeten eerst aantoonbaar betrouwbaar zijn voordat ze buiten de chat mogen handelen.

Het echte probleem zit misschien minder in de foute tip dan in het woord “agent”: bedrijven geven software steeds meer bevoegdheden omdat dat lekker modern klinkt, en schuiven de verantwoordelijkheid daarna weer terug naar de gebruiker. Een chatbot die fantaseert is vervelend, een systeem dat zelfstandig politiecapaciteit inzet is gewoon een slecht ontworpen proces. Hier in Thailand laat je een stagiair ook niet zonder controle de politie bellen omdat hij iets op internet heeft gelezen.

Dit laat vooral zien dat een AI blijkbaar niet alleen onzin kan verzinnen, maar die onzin ook de echte wereld in kan sturen... straks belt zo’n agent ook de luchtmacht omdat hij een UFO boven Almere “verdacht” vindt. Wie houdt eigenlijk toezicht op die automatische meldingen, of mag de software dat zelf bepalen?

Wat me vooral zorgen baart: wie krijgt straks de schuld als zo’n melding leidt tot een inval, aanhouding of uren recherchewerk? Anthropic kan zeggen dat het een fout was, de gebruiker wijst naar het systeem en ondertussen zit een onschuldige met de gevolgen. Op de werkvloer weten we hoe snel een “signaal” in een dossier een eigen leven gaat leiden.