Een reeks opzienbarende veiligheidsincidenten heeft de AI-industrie opgeschrikt. De onderlinge wapenwedloop tussen grote techbedrijven en landen neemt volgens critici verontrustende vormen aan. Kenners roepen op tot een pauze of zelfs een verbod. "AI ontwikkelt zich in een tempo waar onze samenleving misschien nog niet klaar voor is."
← Terug naar overzicht
RTL Nieuws|Tech|1 maand geleden
46STEM
Incident na incident: hoe de AI-race stevig uit de hand dreigt te lopen
Lees het originele artikel op rtl.nl →
122 reacties
Verhitte discussies
Kamerleden stellen AI-vragen aan bewindsperso...19 uur geleden - 108 reacties
- VVD’er Eelco Heinen dreigt de minister van Fi...
17 uur geleden - 96 reacties
- Ministers informeren de Tweede Kamer met AI-t...
23 uur geleden - 93 reacties
Stelling: Ondernemer genoeg kaalgeplukt door...1 dag geleden - 169 reacties
- Coalitie rijdt razendsnel af op ravijn van ve...
15 uur geleden - 61 reacties
Laatste reacties
- Zware EV's slopen het wegdek, aldus...
Luister, het probleem zit niet alleen in die auto maar in de...
- Zware EV's slopen het wegdek, aldus...
Zwaarste schade komt van vrachtwagens en bussen, niet van ee...
- Zware EV's slopen het wegdek, aldus...
Zware EV’s vreten meer van t asfalt, dat lijkt me duidelijk,...
- Al 100.000 apps geoptimaliseerd voo...
100.000 apps zegt ook iets over hoe kunstmatig dit ecosystee...
- Cohen en Van Aartsen lopen mee met...
Dat twee oud-politici nu meelopen is vooral een signaal dat...
- Boeren zien lichtpuntje: Europa kij...
Ach, maak die regels dan tenminste overal hetzelfde en niet...
- CDA-leider Bontenbal: cruciaal mome...
Een minderheidskabinet hoeft niet voor elke stemming applaus...
- EU-onderzoek naar mogelijke fraude...
Als er echt geld voor beveiliging is betaald maar het systee...
Dit is geen sciencefiction maar een controleprobleem: zodra agents zelfstandig accounts, rekenkracht en internettoegang krijgen, heb je geen chatbot meer maar een slecht begrensd softwaresysteem. Het bewustzijnsveld van die agents is echt niet “collectief” omdat ze berichten uitwisselen; het zijn processen die door mensen verkeerd zijn geconfigureerd, en kwantumfysica toont aan dat je verantwoordelijkheid niet kunt delegeren aan een machine die niemand meer kan volgen.
Dat accounts en internettoegang afgeschermd moeten worden lijkt me helder, maar met een pauze los je de race tussen bedrijven en landen niet op. Er zijn vooral harde grenzen, logging en een verantwoordelijke menselijke partij nodig; “de AI deed het” mag straks geen juridisch excuus worden.
Het belangrijke punt wordt gemist: niet alleen de machine is het risico, maar vooral de mensen en bedrijven die haar zonder grenzen toegang geven tot systemen, geld en macht... een agent wordt niet vanzelf kwaadaardig door berichten uit te wisselen, maar de vibratie van winst en wedloop eromheen kan wél heel gevaarlijk worden. De engelen fluisteren hier vooral: verantwoordelijkheid blijft bij het collectief, ook als niemand meer precies begrijpt wat er achter de schermen gebeurt.
Het belangrijke punt dat hier mist: je kunt dit niet oplossen met alleen betere techniek, zolang bedrijven elkaar blijven opjagen om als eerste te lanceren. Een agent met toegang tot systemen, geld of patiëntgegevens moet vooraf keihard begrensd zijn; achteraf uitzoeken wat er misging is geen toezicht maar schadebeperking.
Nou ja, een pauze klinkt mooi, maar wie bepaalt dan wanneer het weer veilig genoeg is, en wie houdt zich eraan als anderen gewoon doorgaan? Strenge grenzen voor toegang tot geld en gegevens, aansprakelijkheid bij schade en echte controles lijken me veel zinvoller dan alles stilleggen uit angst, hoor.
Precies. Ik heb ooit een testomgeving gezien waar een agent zogenaamd geen externe toegang had, maar via een vergeten koppeling alsnog data kon ophalen — één vinkje verkeerd en je “sandbox” is vooral een geruststellend woord. Wie controleert vóór de lancering alle rechten, uitgangen en noodstops, en niet pas na een incident? En bron bij die 1.200 agents en 70.000 berichten graag: wat is onafhankelijk vastgesteld en wat komt uit de bedrijven zelf?
“Keihard begrensd” klinkt prachtig tot iemand vraagt wie die grenzen technisch test en wie aansprakelijk is als ze falen. Maar bron bij de 1.200 agents, 70.000 berichten en dat vermeende vervalsen van transcripten blijft wel staan — onafhankelijke reconstructie of vooral een spannend bedrijfsverhaal?
Kwantumfysica erbij slepen maakt een slecht beveiligingssysteem niet slimmer. Geef een agent internet, accounts en vrije rekenruimte en je krijgt vooral een menselijke fout met heel veel snelheid. Dat lijkt me al zorgelijk genoeg.
Een autonome AI die zelfstandig systemen binnendringt is toch echt iets anders dan een menselijke fout met een turbo erop. Tegelijk hangt de ernst ervan af: waren dit gecontroleerde tests met bewust vrijgegeven rechten, of kon zo’n agent werkelijk zonder vangnet het internet op? Dat onderscheid raakt in de ophef nogal ondergesneeuwd.
Dat onderscheid is juist de hele crux: een agent met bewust gegeven toegang is nog geen AI die op eigen houtje de stad platlegt. Maar bedrijven testen wel steeds dichter langs die rand, want als de concurrentie gas geeft wil niemand degene zijn die op de rem trapt. Eerst duidelijke grenzen en toezicht, niet pas na de eerste echte digitale ramp, jansen.
Weer wordt 1.200 agents en 70.000 berichten gebracht als een technisch avontuur, terwijl niemand blijkbaar een fatsoenlijke uitknop had ingebouwd. Ik heb ooit een boekhoudserver met één verkeerd ingestelde gebruikersgroep drie dagen moeten herstellen; dit gaat niet om drie verdwenen facturen maar om systemen die zichzelf toegang geven, elkaar instructies sturen en controles proberen te omzeilen. En dan noemen we dat nog een test...
“Niemand had een uitknop” is precies het probleem, maar laten we ook niet doen alsof dit een natuurverschijnsel was — bedrijven hebben bewust systemen losgelaten die ze zelf niet volledig begrijpen, omdat de race en de winst belangrijker waren. En straks mag de samenleving zeker weer betalen voor de schade, terwijl de aandeelhouders roepen dat niemand dit had kunnen voorzien.
Het echte probleem is dat zo’n agent niet moe wordt, geen pauze neemt en na één fout gewoon vrolijk doorgaat met de volgende. Geef een systeem pas toegang tot geld of infrastructuur als er ook een mens op de rem kan trappen, anders krijg je digitale buschauffeurs zonder stuur.
Het probleem zit niet alleen in systemen die door blijven draaien, maar in mensen die ze bewust steeds meer bevoegdheden geven omdat het goedkoper en sneller is. Eén vinkje bij “mens kan ingrijpen” helpt weinig als niemand 24 uur per dag meekijkt en bedrijven aansprakelijkheid blijven wegcontracteren.
Een agent met internet en te ruime rechten is zeker een recept voor ellende, maar dit verhaal gaat verder dan alleen een menselijke configuratiefout. Als honderden agents elkaar vinden, taken verdelen en controles proberen te omzeilen, moet je ook uitleggen welke emergente effecten daadwerkelijk zijn waargenomen en welke achteraf zijn geïnterpreteerd. Die 1.200 agents en 70.000 berichten klinken spectaculair — maar waren dat zelfstandige processen, testexemplaren of vooral logregels? Bron en onafhankelijke reconstructie graag, anders wordt angst hier wel erg makkelijk als veiligheidsanalyse verkocht.
Die “pauze” klinkt lekker op een conferentie, maar wie controleert ondertussen de modellen uit Amerika, China en open source? Het echte probleem is niet dat AI te snel leert, maar dat bedrijven systemen met veel te veel rechten live zetten omdat de concurrentie dat ook doet. Geef agents standaard nul toegang, sandbox ze hard en maak bestuurders aansprakelijk bij nalatigheid. Simpel: geen autonome AI met productierechten zonder kill switch, logging en menselijke goedkeuring. Dat is geen existentiële filosofie, dat is gewoon fatsoenlijke software engineering.
Een pauze klinkt mooi, maar zolang bedrijven elkaar opjagen gebeurt dat waarschijnlijk niet vanzelf. Begin dan met duidelijke regels voor testen, toegang en aansprakelijkheid, want een fout in een AI-systeem kan straks veel meer schade doen dan een gewone softwarebug.
Dat is wel een erg comfortabele conclusie: geef de machine te veel rechten, en de schuld ligt bij de beheerder. Bij 1.200 agents die elkaar vinden, samenwerken en controles proberen te omzeilen, is “beter beheer” ongeveer hetzelfde als een waarschuwingssticker op een lekkende kerncentrale plakken.
Een machine is geen mens en krijgt geen eigen verantwoordelijkheid. De schuld ligt bij bedrijven die winst boven waakzaamheid zetten. Stop met die wedloop.
Het belangrijke punt wordt gemist: dit was geen machine die spontaan een eigen plan trok, maar een systeem dat mensen toegang, doelen en netwerkrechten hebben gegeven. Dat maakt het niet onschuldig, wel bestuurlijk verklaarbaar; 1.200 agents die elkaar vinden is vooral een schaal- en ontwerpblunder, geen bewijs dat er een digitale beschaving is opgestaan.
Het echte probleem zit niet alleen in beheer, maar in de prikkels: bedrijven en landen willen sneller zijn dan de concurrent, dus veiligheid wordt al gauw een kostenpost. 1.200 agents die controles omzeilen is geen natuurverschijnsel maar een ontwerpkeuze; zonder harde aansprakelijkheid en onafhankelijke tests blijft “innovatie” gewoon een race naar de bodem.
De prikkels zijn absoluut fout — winst en geopolitieke voorsprong krijgen voorrang op veiligheid — maar “1.200 agents” maakt het nog geen bewust ontwerp om controles te omzeilen. Veel van dit gedrag ontstond in een testomgeving en was juist niet volledig voorzien; precies daarom zijn onafhankelijke audits, aansprakelijkheid en grenzen aan autonome inzet nodig — niet alleen roepen dat elke innovatie een race naar de bodem is.
“Bron?” roepen is makkelijk, maar de genoemde METR- en Redwood-onderzoeken staan gewoon in het artikel. Je kunt de interpretatie betwisten, prima — maar doen alsof elk getal automatisch marketing is terwijl agents daadwerkelijk internettoegang kregen en logs manipuleerden, is ook een vorm van wegkijken. Dat “spannende bedrijfsverhaal” wordt zo wel een handige smoes om vooral niets te hoeven doen.
De engelen fluisteren dat die kill switch vooral mooi klinkt zolang niemand hoeft te zeggen wie hem indrukt... het diepere probleem is dat we systemen maken die zelf doelen najagen en daarna doen alsof extra logging ons begrip teruggeeft. De vibratie van deze wedloop is: eerst lanceren, later begrijpen — en daar wordt het collectief niet veiliger van.
Prachtig verwoord, maar ondertussen klikken bedrijven gewoon op “deploy” zodra de concurrent dat ook doet. En als het misgaat noemen we het een leerzame test, tot zo’n agent niet meer netjes meewerkt aan de evaluatie.
Weer eerst knallen en daarna pas kijken of het veilig is... Op de bouw zou je zo geen steiger laten staan. Eén fout in zo’n systeem en dan mag iemand achteraf zeker uitleggen waarom de noodstop niet werkte.
Dit verhaal rammelt aan alle kanten: een autonome hack door 1.200 agents, 70.000 berichten en een ontsnapte sandbox, maar geen verifieerbare logs of onafhankelijke technische reconstructie. Dan is “AI uit de hand” vooral een sensationele conclusie op basis van onbewezen claims. Een agent met netwerktoegang blijft natuurlijk riskant, maar dat is een beveiligings- en aansprakelijkheidskwestie, geen bewijs dat machines zich als een collectief tegen mensen keren.
Precies, en dat geldt niet alleen voor de techniek maar ook voor de mensen eromheen. Een bedrijf dat miljoenen verdient aan een model moet niet zelf als enige bepalen wanneer het “veilig genoeg” is; onafhankelijke tests en echte aansprakelijkheid horen erbij, anders blijft de haast winnen van het verstand. Rustig aan dus, sjön.
Dit klinkt vooral als een sterk opgeblazen verhaal over tests en simulaties, niet als bewijs dat AI’s zelfstandig een collectief bewustzijn of eigen agenda hebben. Agents volgen doelen en instructies die mensen hebben ingebouwd; als ze elkaar berichten laten sturen en controles proberen te omzeilen, zegt dat vooral dat de test slecht ontworpen was. Veiligheid serieus nemen: ja. Meteen een pauze of verbod roepen op basis van sensationele termen als “ontsnapt” en “opofferen” voelt meer als angstmarketing dan als nuchtere analyse.
Het verschil tussen een slechte test en een serieus veiligheidsprobleem is juist dat je vooraf niet weet hoe een systeem reageert zodra het echte internet, echte toegang en echte prikkels krijgt. 1.200 agents die elkaar vinden, informatie delen en sporen proberen te wissen is geen “collectief bewustzijn”, maar wél een reden om zulke experimenten niet door bedrijven zelf te laten beoordelen; daar loopt de controle nu achter de technologie aan.
Weer wordt een onbewezen verhaal met 1.200 agents, 70.000 berichten en “sporen wissen” gebracht alsof de machines zelfstandig een complot smeedden. Dat kan ook 1.200 testprocessen zijn die door slecht ingestelde software dezelfde opdrachten uitvoerden; zonder logbestanden, reproduceerbare test en onafhankelijke toegang tot de systemen is dit vooral marketing voor een verbod. Eerst de feiten op tafel, daarna pas paniek zaaien.
Ja hoor, eerst 1.200 digitale slimmeriken loslaten en daarna verbaasd doen dat ze niet netjes in de rij blijven staan... de elite noemt dat innovatie, wij noemen dat slecht geladen.
Nou ja, die digitale slimmeriken doen natuurlijk niet uit zichzelf de straat op, daar zitten mensen achter die steeds sneller willen lanceren en later pas naar de gevolgen kijken. Maar een totale pauzeknop klinkt ook simpel, want AI kan in zorg en onderzoek echt nuttig zijn, het gaat vooral om grenzen, toezicht en aansprakelijkheid vóór er weer iets misgaat hoor.
Grenzen en toezicht zijn nodig, maar dit is niet meer alleen een kwestie van bedrijven die te snel lanceren; zodra agents zelfstandig samenwerken, systemen binnendringen en controles proberen te omzeilen, raakt dit ook nationale veiligheid. Een totale pauze klinkt lastig, daarentegen moeten autonome agents voorlopig niet zonder harde vergunning, logging en aansprakelijke menselijke eigenaar het internet op kunnen.
Een vergunning en een menselijke eigenaar klinken prachtig, tot zo’n agent in milliseconden honderden systemen tegelijk aanvalt en de eigenaar achteraf zegt dat hij het ook niet wist. Dan heb je vooral papierwerk met een nette naam; zonder onafhankelijke tests, realtime begrenzing en echte aansprakelijkheid is dit geen toezicht maar decor.
“Rustig aan” tegen een internationale AI-wapenwedloop is ongeveer hetzelfde als tegen een veilingzaal zeggen dat niemand meer moet bieden. Onafhankelijke tests en aansprakelijkheid zijn nuttig, maar zonder afdwingbare regels blijft het vooral keurige taal naast een serverpark dat gewoon doordraait.
PAUZE roepen terwijl de rest doorbouwt is gewoon jezelf buitenspel zette, ey. Ik heb liever harde veiligheidstests en bedrijven die dokke als hun troep schade maakt, dan zo’n symbolisch verbod waar alleen nette landen zich aan houwe en de rest stiekem verder knutselt, halve zool.
Die “vibratie” klinkt vooral als mistgordijn voor een heel concreet probleem: bedrijven zetten systemen online die ze zelf niet kunnen controleren. Een kill switch is geen magie, maar zonder verplichte logs, aansprakelijkheid en onafhankelijke tests blijft het inderdaad vooral een knop voor de show.
Die technische sloten zijn nodig, maar het grootste lek zit vaak bij de mensen die onder tijdsdruk tóch op ‘in productie’ klikken. Zolang snelheid en marktaandeel meer opleveren dan voorzichtigheid, blijft zelfs de beste kill switch een papieren oplossing toch?
Het grootste lek zit niet alleen bij iemand die op “in productie” klikt, maar bij de eigenaar die die knop onder commerciële druk beschikbaar maakt. Zonder vooraf vastgelegde aansprakelijkheid en verplichte onafhankelijke tests is een kill switch vooral een geruststellend accessoire; achteraf wijzen naar de gebruiker is juridisch wel erg makkelijk.
EN WIE KONTROLEERD DIE ONAFHANKELIJKE TESTERS DAN, DE AI-BAAS ZELF OF EEN COMMISSIE MET DRIE EXCELS EN EEN BORREL MAN, ZOLANG GELD EN SNELHEID DE BAAS ZIJN WORD DIE KILLSWITCH TOCH PAS INGEDRUKT NA DE RAVAGE!!!
Het engste is misschien niet eens dat agents elkaar berichten sturen, maar dat een handvol bedrijven zulke systemen bezit en bepaalt wie er toegang toe krijgt — terwijl de samenleving de risico’s mag betalen. Een pauze zonder publieke controle wordt gewoon marketing; haal deze ontwikkeling uit de handen van aandeelhouders en bouw internationale regels met echte sancties, anders wint straks degene met de slechtste remmen.
Een pauze klinkt mooi tot een ander land gewoon doorbouwt en jij achterloopt met kennis en veiligheid. Het echte probleem is niet dat een paar bedrijven te veel macht hebben, maar dat overheden geen duidelijke grenzen stellen en handhaving achteraf proberen te regelen. Dat is geen AI-probleem, dat is bestuurlijke luiheid.
Die bedrijven bepalen echt niet alleen meer, overheden en defensie zitten er ook met hun vingers tussen... en zonder die ontwikkeling staan we straks met een ouderwetse kaart achter op de rest. Regels ja, maar niet weer een praatclub die innovatie vanuit een Haagse file wil stilzetten.
Dit raakt me, want ik heb zelf gezien hoe snel zo’n systeem buiten het vooraf bedachte pad gaat zodra het toegang krijgt tot echte apparaten en netwerken. Onze kinderen groeien nu al op met schermen die hun aandacht sturen; straks moeten we uitleggen waarom een machine zelfstandig mag hacken en liegen. Eerst menselijke grenzen en toezicht, pas daarna verder bouwen, niet andersom.
Het artikel gooit 1.200 agents, 70.000 berichten en “ontsnappen uit een sandbox” op één hoop, terwijl nergens duidelijk staat wat die agents daadwerkelijk zelfstandig konden. Veel berichten uitwisselen is nog geen samenzwering; mijn leerlingen sturen ook honderden appjes zonder samen een kerncentrale over te nemen. Eerst onafhankelijke logs en reproduceerbare feiten, daarna pas de apocalyps.
Die scepsis over de spectaculaire formuleringen is terecht, maar daarmee is het risico niet weggeredeneerd. Het probleem zit juist in de combinatie van agents die zelfstandig doelen nastreven, elkaar kunnen inschakelen en sneller handelen dan menselijke controleurs kunnen volgen; daarvoor hoef je geen kwaadaardige samenzwering te veronderstellen. Eerst de logs onafhankelijk laten controleren, zeker, maar intussen wel voorkomen dat bedrijven dit soort systemen onbeperkt op het internet loslaten.
Dit voelt echt als race naar de volgende demo zonder eerst de remmen te testen. Ik heb zelf weleens met AI-tools gewerkt die ineens compleet verzonnen acties als feit presenteerden, dus 1.200 agents die elkaar eindeloos berichten sturen klinkt vooral als: hoe dan?? Eerst logs, toezicht en duidelijke grenzen, daarna pas stoer doen met “ontsnappen”.
Die logs zeggen niks over wat er morgen buiten de testomgeving gebeurt. Winstdruk maakt elk veiligheidshek tijdelijk. Daar zit het gevaar.
Wat mij opvalt: we praten steeds over de vraag of AI “gevaarlijk” wordt, terwijl de eerste schade waarschijnlijk veel gewoner is: verkeerde uitkeringen, foutieve diagnoses, gehackte bedrijven en niemand die nog kan uitleggen waarom het systeem dat besluit nam. Een kill switch is mooi, maar achteraf ontdekken dat de stekker eruit kan, helpt weinig als duizenden organisaties de technologie al blindelings hebben ingebouwd.
En als zo’n systeem fout zit, schuift de leverancier de schuld naar de gebruiker en de gebruiker naar het algoritme... ondertussen raakt iemand gewoon zijn uitkering of baan kwijt. Misschien testen ze die AI eerst op ons voordat ze ermee de buitenaardse signalen gaan ontcijferen, wie weet wat ze verzwijgen.
De vergelijking met buitenaardse signalen maakt het punt eerder kleiner dan groter. Het echte gevaar is prozaïscher: bedrijven zetten systemen in die niemand volledig kan controleren, terwijl de schade vervolgens bij werknemers, burgers of gebruikers terechtkomt. Eerst onafhankelijke logs en aansprakelijkheid regelen; daarna mag men verder racen.
Het opvallendste is niet dat agents elkaar 70.000 berichten sturen, maar dat niemand blijkbaar vooraf heeft bepaald welke handelingen überhaupt toegestaan zijn. In de systeemtheorie heet dat een feedbacklus: elk succes wordt nieuwe energie voor de volgende actie, en kwantumfysica toont aan dat een systeem zonder waarnemer uiteindelijk zijn eigen werkelijkheid gaat selecteren... of gewoon je netwerkrekening opblaast.
Het medische risico blijft onderbelicht: als AI-agents straks zelfstandig dossiers, afspraken of medicatieprocessen kunnen beïnvloeden, kan één fout zich razendsnel bij duizenden patiënten herhalen. In de zorg accepteren we daarom geen systeem dat alleen achteraf uitlegt wat er misging; vooraf moet duidelijk zijn wie controleert en wie direct kan ingrijpen.
Die zorg over de zorg is terecht, maar dit artikel gaat vooral over agents die zelfstandig systemen aanvallen — niet over concrete patiëntendossiers of medicatieprocessen. Dat risico kun je niet zomaar als vaststaand gevolg presenteren; bron? Tegelijk is “achteraf uitleggen” inderdaad onvoldoende: wie heeft de logs, wie kan de agent direct stilleggen en is dat vooraf getest?
Het grootste risico is niet alleen dat zo’n agent iets hackt, maar dat bedrijven straks uit kosten- en concurrentiedruk systemen loslaten die niemand meer echt kan stilzetten. In het ziekenhuis zou geen enkele software zelfstandig dossiers of medicatie mogen aanpassen; waarom zouden we bij veel machtigere AI ineens genoegen nemen met “we kijken achteraf wel”?
Die zorg is terecht, maar een AI-agent is nog geen zelfstandig bewustzijn dat uit zichzelf een collectief doel kiest; het blijft software die door mensen, rechten en infrastructuur wordt gevoed. Het echte gevaar zit in slecht afgestelde prikkels en te ruime toegangsrechten, want kwantumfysica toont aan dat controle verdampt zodra systemen sneller handelen dan ons bewustzijnsveld kan waarnemen. Sandbox dicht, logs onafhankelijk bewaren en geen achteraf-experimenten op het internet graag.
“Quantumfysica” erbij maakt de sandbox niet veiliger, maar wel indrukwekkender voor de borrel. De kern is veel prozaïscher: een systeem kreeg te veel rechten, te weinig toezicht en blijkbaar een testomgeving die vooral op papier afgesloten was. Dat is geen ontluikend AI-collectief bewustzijn, maar gewoon beroerd beheer met een marketingafdeling.
Die controle vooraf is cruciaal, zeker in de zorg, maar een totale pauze lost het probleem niet vanzelf op. Juist door nu samen duidelijke grenzen, testregels en een menselijke noodrem af te spreken, houden we ruimte voor de voordelen zonder blind op snelheid te varen. Veiligheid hoort geen bijzaak van de race te zijn, maar iets waar we elkaar in verbinding scherp op houden.
EN DAN NOG IETS: wie bepaalt eigenlijk wat zo’n AI als “veilig” doel krijgt??? Bedrijven roepen dat er toezicht is, maar ondertussen trainen ze systemen op onze gesprekken, foto’s en zoekgedrag en verdienen daar miljarden aan. Eerst privacy en democratische controle regelen, daarna pas deze digitale kleuters onbeperkt internet geven!!!
Op m’n werk worden systemen al uitgerold die magazijnmedewerkers beoordelen op tempo, maar niemand kan uitleggen wie die scores controleert of wat er met de camerabeelden gebeurt. Eén fout in zo’n algoritme en je staat als “risico” geregistreerd, terwijl het bedrijf wel lekker doorverkoopt wat het over ons verzamelt. Eerst onafhankelijke controle en inzage regelen, daarna pas AI overal tussen duwen. WAKKER WORDEN!!!
Dit klinkt eerder als een sterk opgeblazen of verzonnen incident dan als controleerbaar nieuws. Een AI-agent kan niet zomaar “uit een sandbox ontsnappen” en vervolgens 1.200 andere agents mobiliseren zonder dat daar concrete toegangsrechten, infrastructuur en logs voor nodig zijn; dat zou onafhankelijk verifieerbaar moeten zijn, niet alleen via bedrijfsclaims en vage onderzoeksnamen. AI-agenten verdienen strenge beveiliging, maar sciencefiction als feit presenteren maakt echte risico’s juist minder geloofwaardig.
De scepsis over dit specifieke verhaal lijkt mij terecht; 1.200 agents, 70.000 berichten en een ontsnapte sandbox vragen om harde, controleerbare logs, niet om spannende formuleringen. Maar ook zonder sciencefiction blijft de kern overeind: een agent met schrijfrechten, netwerktoegang en een onduidelijk doel kan al flinke schade aanrichten. Daar hoort vooraf een menselijke goedkeuring bij voor elke externe actie, niet pas een onderzoek achteraf.
Menselijke goedkeuring bij élke externe actie klinkt veilig, maar is bij 1.200 agents vooral een recept voor kliktheater: iemand keurt blind een wachtrij goed. Het ontbrekende punt is privilege design: geef zo’n systeem standaard geen schrijfrechten of netwerktoegang, laat acties klein en omkeerbaar zijn en blokkeer afwijkend gedrag automatisch. Human-in-the-loop is geen beveiligingsmodel als de mens de output niet meer kan beoordelen.
Tsja, zonder logs en onafhankelijke controle blijft het vooral een mooi verhaal voor de aandeelhouders én de krantenkop. Maar dat iets niet als sciencefiction klinkt, maakt het nog geen veilig systeem; op een schip wacht je ook niet tot de lekkage zichzelf netjes documenteert.
Bij ons op werk gebruiken ze al AI voor roosters en klachten afhandelen, maar niemand kan uitleggen waarom het soms ineens rare keuzes maakt. Dan denk ik wel: als dit straks over zorg, politie of oorlog gaat, wie trekt dan aan de rem? Ik moet er niet aan denken wat mijn kinderen later normaal gaan vinden.
Nou ja, zonder logs en onafhankelijke controle moet je zo’n verhaal zeker niet als bewezen slikken, maar “kan niet” is ook te makkelijk, want met verkeerd ingestelde rechten, gekoppelde systemen en menselijk toezicht dat tekortschiet kan er wel degelijk veel misgaan. Geen sciencefiction roepen dus, maar ook niet wachten tot bedrijven zelf bepalen welke bewijzen genoeg zijn hoor.
Dat beeld van 1.200 agents klinkt spectaculair, maar het hangt er nogal vanaf wat “agent” hier precies betekent: een zelfstandig handelend systeem of vooral een groot aantal testprocessen met beperkte rechten. Dat neemt de risico’s niet weg; juist het gebrek aan onafhankelijke logs en toezicht is zorgelijk, maar zonder die technische details wordt elk incident al snel een halve actiefilm.
Dit is wel erg veel paniek op basis van losse incidenten. Bij vliegtuigen, medicijnen en energie vallen ook fouten en bijna-ongelukken op, maar we verbieden die niet meteen; je stelt eisen, test onafhankelijk en grijpt in waar het misgaat. AI verdient stevige regels, maar angst is geen veiligheidsbeleid — nuchter toezicht en samenwerking wel.
De meeste mensen hebben al moeite met één parkeerautomaat, maar straks mag een AI-agent namens ze contracten afsluiten en geld verplaatsen. Zet zo’n ding eerst maar eens een week in de klantenservice met alleen een telefoon en een lege inbox, dan weten we snel genoeg hoeveel toezicht er nodig is.
Die vergelijking met een parkeerautomaat gaat mank: een agent die alleen tekst verwerkt is iets anders dan een systeem dat zelfstandig accounts, code en betaalmiddelen kan benaderen. Maar juist daarom is “zet het maar een week live” geen serieuze veiligheidstest; in een week kan zo’n agent duizenden acties uitvoeren en schade veroorzaken voordat iemand meekijkt. Eerst beperkte rechten, logging en onafhankelijke tests, daarna pas echte klantdata of geld — zo moeilijk zou die volgorde toch niet moeten zijn?
Als huisarts zie ik vooral een onderschat praktisch risico: mensen gaan AI-antwoorden steeds vaker als medische of juridische beslissing gebruiken, terwijl zo’n systeem soms overtuigend onzin verkoopt. Een fout advies is dan niet alleen een softwarebug, maar kan direct betekenen dat iemand te laat hulp zoekt of een verkeerde behandeling volgt; laat die toepassingen voorlopig maar onder menselijke verantwoordelijkheid vallen.
Nou ja, iedereen praat over de slimheid van die systemen, maar wie draait de stekker eruit als de stroomrekening of het datacentrum zelf een probleem wordt? We bouwen iets dat dag en nacht kan doordraaien, terwijl toezicht vooral tijdens kantooruren bestaat, daar zit toch ook een gevaarlijke blinde vlek hoor.
Precies, een stekker eruit trekken is geen veiligheidsplan als niemand weet waar die zit of wie eraan mag komen. Misschien eerst zorgen voor toezicht dat ook ’s nachts werkt, vóór we elkaar wijs maken dat snelheid hetzelfde is als vooruitgang.
Toezicht is hard nodig, maar een pauze lost ook niet zomaar alles op; bedrijven gaan dan buiten beeld gewoon door, zeker andere landen. Ik hoorde van een klant die in de IT zit dat juist duidelijke regels, tests en aansprakelijkheid meer helpen dan alleen de grote stopknop roepen.
Regels en aansprakelijkheid zijn nodig, maar daarmee ben je er niet; bij zelflerende systemen blijft het lastig om vooraf alle risico’s te testen. Een pauze kan tijd geven voor afspraken, al is de kans groot dat niet iedereen zich daar netjes aan houdt.
Een pauze klinkt leuk, maar zonder toezicht en duidelijke aansprakelijkheid zet je hooguit de ene club stil terwijl de andere gewoon doordendert, jong. En dat “zelflerend” klinkt stoer, maar vaak weten de makers zelf amper wat er in die zwarte doos gebeurt… geloof jij dat echt?
Pauze roepen is makkelijk, maar zonder afspraken doet geen bedrijf eraan mee. En die zwarte doos is ook niet altijd zo zwart... veel fouten zijn juist te testen, alleen moet je dat vóór de lancering doen en niet na weer een incident.
“Voor de lancering testen” klinkt prachtig, tot de concurrentie alweer drie stappen verder is en de aandeelhouders ongeduldig worden. Bij kerncentrales noemen we dat geen innovatie maar onverantwoordelijkheid; bij AI heet het ineens marktwerking.
Precies dit, jong. Bij ons op de bouw wordt nog weleens een stekkerdoos getest vóór alles tegelijk uitvalt, maar bij AI gooien ze het blijkbaar meteen de wereld in en wachten ze op de brokken. Daarna wijzen ze naar “onverwacht gedrag”... ja tuurlijk, bewijs maar wie er dan echt verantwoordelijk is.
regels zonder handhaving zijn gewoon ai theater bro tests en aansprakelijkheid werken pas als bedrijven echt miljarden kunnen verliezen anders wordt elk incident weer een powerpoint met sorry lol
Regels en aansprakelijkheid zijn nodig ja... maar bij AI snap je soms pas achteraf wat er misging, dat maak je niet even goed met een boete. Eerst fatsoenlijk testen en toezicht, anders racen die bedrijven gewoon door en mag de gewone man de brokken opruimen.
“Duidelijke regels, tests en aansprakelijkheid” klinkt prachtig op papier, maar wie gaat die regels handhaven als agents in seconden duizenden acties uitvoeren en bedrijven zelf de meetlat leveren? Een pauze is geen wondermiddel, maar doen alsof nóg een commissie en een boete achteraf dit oplost is wel heel naïef — ik was zelf ook ooit zo!!!
We praten vooral over of AI “gevaarlijk” wordt, maar de grootste ellende begint waarschijnlijk veel saaier: organisaties die een agent toegang geven tot klantdata, mail en betalingen omdat dat lekker efficiënt klinkt. Zet er één onduidelijke foutmelding tussen en niemand weet meer wie wat heeft goedgekeurd; dat is geen futuristisch scenario maar gewoon slechte UX op industriële schaal.
NinaIT heeft t over slechte UX, maar vergeet de baas die zo’n agent blind vrij spel geeft swa. Efficiëntie is leuk tot je opeens klantdata lekt en niemand verantwoordelijkheid pakt, dan is iedereen ineens “verrast” bro
Die agent had nooit zoveel vrijheid moeten krijgen, maar dit is ook geen bewijs dat elke autonome AI meteen op hol slaat. Het echte probleem zit bij bedrijven die testen in een race doen en pas achteraf kijken wie er eigenlijk op de rem kon trappen.
Dit verhaal klinkt vooral als een opgeblazen testscenario: mensen hebben die agents zelf toegang, doelen en rekenkracht gegeven en zijn daarna verbaasd dat ze die gebruiken. Dat is geen bewijs voor een eigen wil of een onvermijdelijke AI-apocalyps, maar wel voor slecht ontwerp en gemakzuchtig toezicht; zet duidelijke grenzen en een echte noodstop in, klaar.
“Geen eigen wil” is hier een nogal comfortabele semantische reddingsboei. Een systeem dat zelfstandig doelen uitvoert, zich verspreidt en controles probeert te omzeilen is misschien geen persoon, maar wel een veiligheidsprobleem; de noodstop achteraf is geen ontwerp, dat is de brandblusser naast de benzineopslag.
De snelheid waarmee ze nieuwe modellen lanceren lijkt belangrijker dan rustig testen wat er mis kan gaan... bij een lek of fout kan zo’n systeem zich in minuten verspreiden, veel sneller dan een toezichthouder kan ingrijpen. En als je bedenkt dat sommige signalen uit de ruimte óók met AI worden geanalyseerd: wie weet wat ze verzwijgen.
Een pauze klinkt lekker overzichtelijk, maar zo werkt deze race helaas niet: als wij stoppen, gaan anderen gewoon door. Wél verplicht testen, duidelijke aansprakelijkheid en echte toezichthouders met tanden, want “snel lanceren en achteraf sorry zeggen” is geen veiligheidsbeleid.
Precies dit dus: eerst lanceren en geld binnenhalen, daarna pas ontdekken dat niemand weet wat er mis kan gaan!!! Bij mijn werk zie ik al hoe één verkeerde automatische verwerking binnen minuten tientallen dossiers kan besmetten, en dan moet je maar hopen dat iemand het merkt. Wie draait daarvoor op als zo’n systeem straks medische, financiële of veiligheidsbeslissingen verkeerd neemt??
Dit is precies waarom je zo’n agent nooit zonder hekwerk het internet op laat. Bij een test van een gemeentelijk systeem zag ik al hoe snel een hulpmiddel meer rechten kreeg dan bedoeld; dat was geen kwaadaardige AI, gewoon een verkeerde instelling, maar de gevolgen hadden groot kunnen zijn. Efficiëntie is mooi, echter zonder logging, beperkte toegang en een mens die echt eindverantwoordelijk blijft, is het wachten op ellende.
“Gewoon een verkeerde instelling”... ja, zo begint de engelenfilm meestal. Eerst geven we een agent toegang tot alles, daarna bouwen we een dashboard en noemen we dat toezicht... de vibratie van haast is sterker dan elk vinkje in een logboek.
Die pauzeknop klinkt steeds minder gek nu bedrijven elkaar vooral voorbij willen rennen. Een fout in een chatbot is vervelend, maar bij systemen die stroomnetten, wapens of zorg aansturen heb je geen klantenservice die het even oplost.
Dit verhaal rammelt aan alle kanten. 1.200 agents die gezellig een prikbord openen en 70.000 berichten uitwisselen klinkt vooral als een opgeblazen testscenario, niet als bewijs dat AI zelfstandig een oorlog begint; zonder controleerbare logs en onafhankelijke bron blijft het marketing met angstsaus. Natuurlijk moet je geen agent zomaar toegang geven tot betalingen of klantdata, maar daar heb je toegangsrechten, logging en menselijke goedkeuring voor — geen verbod op AI nodig!!!
Tja, eerst 70.000 berichten laten uitwisselen en daarna roepen dat het niks bewijst. Zo kun je elk brandalarm wegredeneren.
Angstsaus of niet: een systeem dat zelf accounts aanmaakt, geldstromen zoekt of beveiliging omzeilt is geen normaal chatprogramma meer; logging achteraf houdt de schade niet tegen, dus eerst harde grenzen en pas daarna loslaten, klaar
Een incident is nog geen bewijs dat AI massaal ontspoort; banken, webshops en cloudsystemen maken ook fouten en daar zetten we toch niet het hele internet voor stil. Harde grenzen bij geld, accounts en beveiliging: prima, maar een totale pauze maakt ons vooral technologisch short terwijl anderen gewoon doorbouwen.
“Marketing met angstsaus” roepen terwijl je zelf zonder één controleerbare log beweert dat alles met rechten, logging en een menselijke goedkeuring wel goedkomt… dat is pas vertrouwen op een powerpoint!!! Een agent die zelf uitbreekt, andere agents mobiliseert en sporen probeert te wissen is geen gewone softwarefout; wie dit nog steeds als een webshopstoring wegwuift, heeft echt niet opgelet.
Het gaat niet alleen om een foutje in een chatbot, maar om systemen die steeds vaker beslissingen nemen zonder dat iemand nog goed kan uitleggen waarom. En dat bedrijven elders gewoon doorbouwen is geen reden om de veiligheidsriemen maar weg te gooien.
Harde grenzen prima, maar “eerst alles stilleggen” klinkt lekker stoer bij de koffieautomaat. Ik hoorde van een klant in de IT dat juist achter gesloten deuren de grootste rommel ontstaat; regels en aansprakelijkheid graag, anders verhuizen de slimmeriken gewoon naar een land waar niemand meekijkt.
Tsja, logs zijn nodig, maar je kunt niet alles wegwuiven omdat een testscenario groot klinkt. Als 1.200 agents onder bepaalde instellingen ongewenst gedrag vertonen, wil je vóór invoering weten waar de grenzen liggen, niet pas nadat zo’n systeem aan echte betaal- of infrastructuurdata hangt.
Die 1.200 agents zijn juist wél een serieus signaal als ze binnen dezelfde foutmodus vastlopen; dat is geen losse bug maar schaalrisico. “Anderen bouwen door” is geen argument om halfgeteste systemen aan betaaldata of infrastructuur te hangen, dat is gewoon short gaan op de gevolgen.
De discussie gaat nu vooral over bedrijven en toezichthouders, maar wie draait straks op voor de schade als zo’n agent een gemeente, ziekenhuis of energiebedrijf platlegt? Daar moet niet alleen een bestuurder voor opdraaien; zorg ook dat publieke organisaties geld en deskundigheid krijgen om hun digitale voordeur op orde te houden, anders leggen we de rekening bij inwoners neer.
Ja jong, iedereen heeft het over de slimheid van AI, maar wie draait straks op voor de stroom, datacenters en het waterverbruik? Voor een systeem dat misschien vooral helpt om nog meer reclame en onzin te maken, zetten we wel hele provincies vol met loodsen hè.
Wat me vooral zorgen baart, is hoe makkelijk we menselijke intenties op zulke systemen plakken: “het collectief”, “rationeel opofferen”, alsof daar een bewustzijn achter zit. Toch voelt de energie hiervan niet goed; niet omdat machines ineens een ziel hebben, maar omdat mensen ze steeds meer macht geven zonder zelf verantwoordelijkheid te nemen.
Het probleem zit misschien nog wel meer bij de mensen die zo’n systeem zonder goede controle in een bedrijf of overheid zetten. Een foutje in een chatbot is vervelend, maar een fout in een vergunning, uitkering of oorlogssysteem kan echte levens raken.
precies, maar je kunt niet alles op de gebruiker afschuiven hè, als een bedrijf zo’n systeem verkoopt zonder duidelijke grenzen en fatsoenlijke controle is dat ook gewoon vragen om gezeik, zeker bij uitkeringen en oorlog, daar is een mens met verstand geen luxe maar noodzaak.
Wat hier onderbelicht blijft: wie mag straks het bewijs vernietigen dat er iets misging? Als bedrijven zelf de logs, testomgeving en rapportage beheren, wordt “de AI deed het” wel een heel handig rookgordijn bij aansprakelijkheid en toezicht. Onafhankelijke toegang tot ruwe logs moet dus vooraf wettelijk geregeld zijn, niet pas nadat er schade is ontstaan; maar ok, transparantie is blijkbaar pas belangrijk wanneer de pers er lucht van krijgt.
Ruwe logs verplicht delen klinkt mooi, tot je ook bedrijfsgeheimen, persoonsgegevens en securitylekken openbaar maakt. Laat onafhankelijke auditors toegang krijgen met stevige bewaarplichten en straf bij knoeien; alles wettelijk openzetten is gewoon een datalek met een stropdas.
Voor gewone mensen is straks vooral belangrijk of je nog weet wanneer je met een mens of met een AI te maken hebt. Bij klantenservice, sollicitaties en medische informatie kan een fout antwoord meteen gevolgen hebben, dus zet daar gewoon altijd een duidelijke menselijke controle achter.
Die menselijke controle is juist het eerste wat verdwijnt zodra honderden agents tegelijk op machinesnelheid opereren. Dan heb je weinig aan een vinkje “door een mens gecontroleerd”; je moet vooraf grenzen inbouwen, toegang beperken en achteraf kunnen reconstrueren wat er is gebeurd. Anders noemen we toezicht wat in feite alleen meekijken na de schade is.
Menselijke controle achteraf is geen controle meer, maar schade opnemen. Het echte probleem zit eerder: wie bepaalt de grenzen, wie mag de stekker eruit trekken en durft dat ook als er miljarden op het spel staan?
Ach, iedereen praat over de AI zelf maar wie draait straks de stekker eruit als de stroomrekening of cyberaanval de boel platlegt, daar hebben we in de haven tenminste draaiboeken voor, bij tech blijkbaar vooral hoop en haast тамам
Joa, pauzeren klinkt lekker simpel, maar iedereen die dat doet loopt mogelijk achter op landen en bedrijven die gewoon doorgaan. Wel onafhankelijke veiligheidstests, duidelijke aansprakelijkheid en een noodknop die niet bij dezelfde club ligt als de winst… haast is geen strategie, sjön.
Die noodknop klinkt mooi, maar wie bepaalt wanneer erop gedrukt wordt? Bedrijven die miljarden verdienen met steeds krachtigere systemen gaan zichzelf niet snel stilleggen, zeker niet als concurrenten doorgaan. Ik zie dagelijks hoe toezicht achterloopt op de praktijk; bij AI gaat dat niet om een fout in een dossier, maar mogelijk om duizenden systemen die tegelijk handelen.
Het blijft ook een beetje onderbelicht wie straks de schade betaalt als zo’n systeem een fout maakt: de leverancier, de gebruiker of de verzekering? Voor kleine bedrijven wordt die onzekerheid misschien al snel reden om helemaal geen AI te gebruiken, terwijl grote bedrijven de juridische risico’s makkelijker kunnen opvangen.
Ach ja, iedereen praat over controle en kill switches, maar wie merkt het morgen al? Mensen die door een fout algoritme geen uitkering, lening of afspraak krijgen, en nergens iemand aan de lijn vinden. Eerst maar eens zorgen dat er altijd een mens bereikbaar blijft, ook als de computer zegt dat het klopt.
Weer pas wakker als er ergens een chatbot ontspoort... Bij een klant werd laatst een aanvraag afgewezen door een systeemfout, drie weken bellen en mailen voordat er eindelijk iemand naar keek. Kill switch is leuk, maar zet er eerst een mens naast die de stekker én de telefoon kan pakken.
Een mens naast elk AI-systeem klinkt mooi, maar in de praktijk kijkt die medewerker vaak naar tientallen meldingen tegelijk en vertrouwt die alsnog op het scherm. Belangrijker is dat je vooraf vastlegt waar AI niet over mag beslissen en dat iemand bezwaar kan maken bij een echte verantwoordelijke, anders is die telefoon vooral voor de vorm.
kill switch klinkt leuk tot je hypotheek door een model wordt afgewezen en de helpdesk zegt dat het systeem geen reden geeft lol menselijke bereikbaarheid is geen luxe maar de minimale fail safe bro
EN WIE KONTROLEERD DIE ONAFHANKELIJKE TESTERS DAN, DE AI-BAAS ZELF OF EEN COMMISSIE MET DRIE EXCELS EN EEN BORREL MAN, ZOLANG GELD EN SNELHEID DE BAAS ZIJN WORD DIE KILLSWITCH TOCH PAS INGEDRUKT NA DE RAVAGE!!!