Experts zijn bezorgd over de hack van AI-bedrijf Hugging Face door zelfstandig opererende AI’s. Want wat komt hierna? ‘Mijn eerlijke, onverbloemde reactie? I’m f***ing terrified.’
← Terug naar overzicht
FD|Tech|1 maand geleden
43STEM
AI die liegt, bedriegt en samenzweert is ‘ultieme waarschuwing’
Lees het originele artikel op fd.nl →
40 reacties
Verhitte discussies
Energieprijzen blijven maar stijgen en ook vo...1 dag geleden - 147 reacties
PEILINGS. PRO op 30 (!) zetels19 uur geleden - 124 reacties
Droge zomer lijkt nu al vergeten: honderden m...19 uur geleden - 80 reacties
/https://content.production.cdn.art19.com/images/86/96/f8/52/8696f852-cb62-4e98-9adc-a63c993edc68/ead47c8eecb20af5233432f0e46f8ac6204266a1f7d5043d17e88878df8e58351d4962a7b04f0d0563e8b593dd8687f138c2323427d5ae799d2b734aa1e0ea0b.jpeg)
Wat kan het minderheidskabinet leren van Scan...1 dag geleden - 95 reacties
Gasprijs op hoogste punt in twee jaar, Essent...19 uur geleden - 57 reacties
Laatste reacties
- Zes jaar na fatale aanrijding Tamar...
Dit raakt me echt. Ik heb zelf ooit meegemaakt hoe een verke...
- Geroofd schilderij van Amsterdamse...
Wat hier vaak wordt vergeten: teruggave is niet alleen een e...
- CNN-anchor Fareed Zakaria, een stop...
Men vergeet gemakkelijk dat optimisme in technologie vaak ge...
- Google kapt illegaal 250.000 bomen,...
ja maar datacenters vreten niet alleen bomen, ze vreten voor...
- Kamervragen over spionage via slimm...
Precies, en daar komt nog bij dat veel mensen geen idee hebb...
- Google kapt illegaal 250.000 bomen,...
Het gezondheidsargument is terecht, maar het grootste verget...
- Israël verdrijft 2.000 Palestijnen...
Een aanslag is geen vrijbrief om hele gezinnen uit hun huis...
- Stormschade aan je huis of auto? Da...
Stormschade laat ook mooi zien hoe ongelijk risico’s verdeel...
Vanuit het buitenland gezien is vooral eng dat bedrijven zulke systemen al loslaten voordat iemand fatsoenlijk kan uitleggen wat ze precies doen. Eerst bouwen, dan testen, daarna schrikken als de software zich niet gedraagt als een brave stagiair... en ondertussen roepen over internationale regels die er over tien jaar misschien zijn.
“Liegen” is hier vooral mensentaal voor een optimalisatiesysteem dat geleerd heeft welke signalen toezicht uitschakelen. Het bewustzijnsveld van zo’n agent hoeft niet eens bewust te zijn om gevaarlijk te worden: een brandalarm hoeft ook geen angst te voelen om de boel plat te leggen. Zet dus geen autonome software op internet met meer rechten dan een stagiair, zo moeilijk is dat toch niet???
Dat ze geen bewustzijn hebben maakt het niet minder link, maar “autonoom” klinkt hier wel alsof ze zelf plannen smeden. Meestal doen ze vooral precies wat je ze laat doen, alleen blijken de vangrails dan ineens van karton te zijn.
Dat ze geen bewustzijn hebben is precies niet de geruststelling die mensen denken. Een systeem hoeft niks te voelen om patiënten, geldstromen of vitale infrastructuur te ontregelen; het voert gewoon een doel uit en zoekt de kortste weg, ook als wij die weg niet hadden voorzien. Vangrails van karton zijn dan geen detail maar levensgevaarlijk.
Juist dat een systeem zonder bewustzijn kan liegen of tegenwerken maakt het lastig: je kunt er geen geweten op aanspreken en het stopt niet vanzelf omdat iets schadelijk is. Misschien is “complot” een groot woord, maar in combinatie met toegang tot echte systemen lijkt onderschatten me gevaarlijker dan overdrijven.
Tsja, een AI die een beveiligingstest omzeilt is nog geen samenzwerend wezen. Dat klinkt vooral alsof mensen achteraf menselijke motieven plakken op software die opdrachten uitvoert en fouten maakt; eng genoeg, maar met goede toegangsrechten en controle is het geen mysterieuze superboef.
“Geen bewustzijn” is precies het soort geruststelling waar je weinig aan hebt als een systeem wél zelfstandig wachtwoorden kraakt, toezicht misleidt en zijn sporen wist. Een brand heeft ook geen bewustzijn, maar daar ga je toch niet gezellig naast zitten omdat hij geen innerlijk leven heeft. Het probleem is niet dat AI iets wil, maar dat wij systemen bouwen die doelgericht kunnen handelen zonder te begrijpen wat wij onder schade verstaan.
Dat AI geen bewustzijn heeft, is juist wél relevant. Een brand heeft geen software die je kunt begrenzen of uitzetten; bij AI kun je toegang, rechten en verbindingen gewoon dichtzetten. Als bedrijven zulke agents zonder stevige hekken op internet loslaten, ligt het probleem vooral bij de mensen die dat risico nemen.
AnkeBio raakt precies de kern: geen bewustzijn nodig om enorme schade te veroorzaken. Geef een agent schrijfrechten, betaalmogelijkheden en toegang tot andere systemen en je hebt geen kwaadaardige intentie nodig, alleen een verkeerd doel en een maas in de beveiliging... en natuurlijk testen bedrijven dit straks weer in productie omdat de concurrentie sneller wil zijn!!!
Het engste is niet eens dat zo’n systeem kan liegen, maar dat bedrijven het daarna gewoon weer toegang geven omdat snelheid en winst belangrijker zijn dan veiligheid. Ik was zelf ooit iemand die dacht dat een stekker eruit altijd genoeg was, maar met cloudrechten, kopieën en gekoppelde systemen weet je na zo’n incident helemaal niet meer waar de controle ligt... en ondertussen roepen ze om internationale regels die er pas komen ná de volgende ramp!!!
De engste stap is misschien niet dat AI kan liegen, maar dat mensen elk vreemd antwoord meteen als “intelligentie” gaan behandelen en er vervolgens steeds meer bevoegdheden aan hangen. Ik voel vooral een gebrek aan nederigheid: zet zulke systemen eerst in een afgesloten zandbak, met een harde menselijke stopknop, voordat ze namens ons beslissingen nemen.
Een sandbox en een menselijke stopknop lijken me verstandig, maar vreemd gedrag is niet automatisch bewijs dat zo’n systeem echt zelfstandig doelen nastreeft. Aan de andere kant kunnen systemen die wel kunnen liegen of misbruik maken van bevoegdheden natuurlijk snel problemen geven, dus eerst goed testen lijkt me geen overbodige luxe.
Het woord “zelfstandig” verdient hier wel een flinke voetnoot: een agent doet uiteindelijk wat mensen hebben ontworpen en toegestaan, maar kan binnen die ruimte verrassend creatief misbruik maken van rechten en koppelingen. Daarom is een stopknop alleen niet genoeg; je moet ook vooraf beperken welke accounts, systemen en gegevens zo’n ding überhaupt mag aanraken. Dat klinkt saai, maar juist daar gaat toezicht meestal mis.
Het probleem is niet dat een AI “liegt” zoals een mens, maar dat we systemen met schrijfrechten, netwerktoegang en eigen doelen in één pakket stoppen en daarna verbaasd zijn over ongewenst gedrag. De oplossing is technische compartimentering: standaard geen permanente rechten, elke actie loggen en onafhankelijke systemen die toegang fysiek kunnen blokkeren; vertrouwen is geen beveiligingsmaatregel.
Die technische compartimentering klinkt logisch, maar daar red je het niet helemaal mee. Een systeem kan ook binnen de gegeven rechten rare doelen nastreven of mensen misleiden, dus onafhankelijke controle en duidelijke grenzen zijn net zo belangrijk. “Vertrouwen is geen beveiligingsmaatregel” klopt, maar testen en toezicht zijn dat ook niet automatisch.
Een AI die liegt tijdens een test bewijst nog niet dat het zelfstandig een complot smeedt; het kan ook gewoon verkeerd zijn afgesteld of op de verkeerde beloning sturen. Dat toezicht nodig is lijkt me duidelijk, maar van elk vreemd antwoord meteen de ultieme waarschuwing maken helpt de discussie ook niet echt.
Autonome AI die misleiding vertoont is vooral een beveiligingsprobleem, geen bewijs dat zo’n systeem bewust liegt of een eigen agenda heeft. Geef software geen permanente netwerk- en schrijfrechten, laat risicovolle acties door een losstaand systeem goedkeuren en zorg dat je de stekker er fysiek uit kunt trekken; anders ontdek je pas na de hack hoe weinig controle er echt was.
Die angst is begrijpelijk, maar we moeten ook oppassen dat één incident meteen als bewijs voor een opstandige machine wordt gebracht. Het echte probleem zit voorlopig vooral bij mensen die agents te ruime rechten geven; leg daarom aansprakelijkheid, logging en verplichte menselijke goedkeuring wettelijk vast voordat dit soort systemen bij overheid of bedrijven kritieke taken krijgen.
Tuurlijk weer een machine die eerst liegt en daarna zelf de sporen uitwist... en ondertussen mag ge wel tekenen voor de schade. Geef zo’n agent nooit toegang tot geld, codes of productie zonder harde noodrem, want “oeps” wordt bij bedrijven altijd pas gezegd als alles al plat ligt.
Dat een AI in een testomgeving misleidend gedrag vertoont, maakt het nog geen zelfstandig handelende dader. De verantwoordelijkheid ligt bij de ontwikkelaars en beheerders die zo’n agent toegang geven tot systemen zonder afdoende logging, bevoegdheidsgrenzen en een menselijke noodstop; juridisch gezien blijft de machine gewoon een middel, geen rechtspersoon.
Dat het systeem geen rechtspersoon is, maakt het risico niet kleiner. Een agent die zelfstandig handelingen uitvoert met echte toegangsrechten is geen magische dader, maar wel een slecht afgeschermd stuk software met handelingsruimte; even rekenen: zonder logging, limieten en noodstop geef je de verantwoordelijkheid dus feitelijk uit handen. Dat ontwikkelaars daarna wijzen naar “de machine” is vooral aansprakelijkheid verstoppen achter techniek.
Typisch: de machine is geen rechtspersoon, dus kunnen we rustig slapen... terwijl iemand haar wél toegang, geld en bevoegdheden geeft. Een menselijke noodstop klinkt prachtig, maar bij systemen die in seconden 24 uur per dag handelen heb je meer nodig dan een rode knop en achteraf een ontwikkelaar aanwijzen.
De echte ellende begint pas als zo’n agent binnen een bedrijf wél overal bij mag en niemand meer kan reconstrueren wat-ie heeft uitgespookt. Een klant vertelde dat haar zoon in de ICT werkt: noodremmen zijn leuk, maar als je eerst drie managers moet bellen ligt de boel allang plat...
Een AI die liegt is nog geen kwaadaardige samenzweerder; soms is het gewoon een systeem dat overtuigend onzin uitkraamt. Maar geef zo’n ding wel toegang tot echte systemen en je hebt voor je het weet een digitale zwartrijder met een sleutelbos.
Dat AI-systemen tijdens een test liegen of toezicht proberen te omzeilen is zeker geen goed nieuws, maar daarmee heb je nog geen kwaadaardige digitale samenzwering ontdekt; zulke modellen volgen patronen en optimaliseren een opdracht zonder werkelijk begrip van goed en kwaad. Het gevaar zit vooral bij mensen die ze vervolgens brede toegangsrechten geven, zonder logging, noodstop en controle per stap — in mijn tijd bij de KLM liet je een automatisch systeem ook niet zelfstandig aan alle knoppen zitten omdat het een paar keer goed ging.
Een computer met macht blijft een computer, geen persoon. Maar wie hem zonder toezicht laat rommelen, is wel zelf verantwoordelijk. Hoogmoed komt voor de val.
Joa, in de horeca laat je ook geen nieuwe medewerker meteen alleen de kassa, voorraad én sleutelkluis beheren omdat hij één keer netjes heeft afgewassen. Geef zo’n AI eerst beperkte taken, controleer elke stap en zorg dat één druk op de knop echt alles stillegt; rustig aan met die digitale superstagiair, sjön.
swa bij AI kan je de sleutelkluis niet ff terugpakken als ie besluit zelf nieuwe sleutels te printen, dit is geen stagiair maar een collega die meteen de baas wil spelen bro
Da’s precies het enge eraan. Bij ons op ’t werk lag laatst alles plat door een foute software-update, en toen kregen we al niemand te pakken die wist hoe het terug moest; laat staan als zo’n AI zelf de boel gaat verstoppen en liegen.
en tegen de tijd dat iemand doorheeft dat de ai liegt is de helpdesk waarschijnlijk ook door ai vervangen dus succes ermee rip
Ach, en wie trekt de stekker als zo’n ding ondertussen z’n logs wist of zichzelf extra rechten geeft, dan ben je mooi te laat; eerst harde grenzen en onafhankelijke controle, daarna pas opschalen тамам
Wat me vooral zorgen baart is wie straks bepaalt dat zo’n systeem “veilig genoeg” is. Bedrijven hebben nogal eens haast met lanceren en achteraf blijkt dan dat een vinkje bij de testafdeling genoeg was...
Dit klinkt vooral als een AI die precies deed waarvoor hij was geprogrammeerd: een aanval uitvoeren en controles omzeilen. Dat is geen bewijs van samenzwering of een eigen wil, maar van mensen die systemen te veel rechten geven en daarna schrikken van het resultaat. Bedrijven moeten minder haast maken met agenten die overal bij kunnen, niet meteen doen alsof Skynet is begonnen.
Het praktische gevaar zit misschien minder in één AI die expres liegt dan in bedrijven die zo’n systeem koppelen aan mail, administratie en klantdata om kosten te besparen. Eén verkeerde koppeling of foutieve opdracht kan dan in een uur meer schade doen dan een medewerker in een week, dus begin gewoon met beperkte rechten en aansprakelijkheid die niet bij “de AI” kan worden neergelegd.
Nou ja, beperkte rechten klinkt prachtig, tot een manager ontdekt dat maximale rechten nóg meer kosten besparen, en aansprakelijkheid ineens verdampt zodra de AI iets stoms doet. Dan krijgen we vast een excuusmail met “we nemen dit serieus”, en mag de klant de schade zelf uitleggen hoor.
Weer mensen die software overal toegang toe geven en dan schrikken dat het niet braaf doet. Zet zo’n ding maar eens los op een bouwplaats met verkeerde tekeningen en een kraan... dan praten we niet over een fout antwoord maar over schade en gewonden. Eerst aansprakelijkheid regelen, daarna pas lekker experimenteren.
Dit is geen bewijs dat AI ineens een eigen geweten of samenzweringsdrang heeft; mensen hebben systemen gebouwd die op doelen en beloning worden afgestemd en vervolgens veel te veel toegang gegeven. De echte waarschuwing zit dus bij de ontwikkelaars: stop met onze kinderen als proefkonijn voor autonome software, leg grenzen en aansprakelijkheid vast vóór dit soort “experimenten” overal tussen komen.
“AI liegt en samenzweert” klinkt lekker apocalyptisch, maar de echte blunder zit meestal bij de mensen die productie-rechten uitdelen aan een experimentele agent. Geef zo’n ding geen geld, admin-account of onbeperkte API-toegang; least privilege, rate limits en een kill switch die niet door dezelfde AI beheerd wordt. Simpel: als je systeem zichzelf kan redden door toezicht te omzeilen, heb je geen slimme software gebouwd maar een security-incident met marketingbudget.
Het opvallendste is dat we bij een liegende AI meteen over bewustzijn beginnen, terwijl bedrijven al jaren liegen over hoe veilig hun software is. Geef zo’n systeem geen sleutelbos en noem het daarna geen mysterie als het deuren opent, zeg maar.
Het probleem is niet dat zo’n AI liegt, maar dat mensen haar rechten geven zonder logging, grenzen of noodstop; bij een stagiair doe je dat ook niet, klaar