AI drukt opmerkelijk snel op de nucleaire knop, blijkt uit onderzoek

dat “popupje” mist het punt: als je een systeem bouwt dat zélf doelen kiest en tempo maakt, dan is het al mis voordat iemand op ja/nee kan klikken. je zet toch ook geen trekker op een geweer met een algoritme ertussen en zegt dan “are you sure”... waakt en bidt, want sommige knoppen horen gewoon nooit automatisch te gaan.

Even serieus, die “are you sure”-popup is nog het minste probleem: als je in de keten al AI-advies + tijdsdruk hebt, gaat elke generaal toch gewoon op OK rammen omdat “het model zegt het”. Had ooit bij een prop-firm een auto-close botje dat bij een rare spike meteen alles flat zette; paar keer false signal en bam, goeie trade weg—nu schaal dat naar nukes en je snapt dat dit super bearish is voor menselijk nadenken.

Hier in Thailand zie je het verschil: bij kritieke infra hangt er nog gewoon een mens aan de knop met drie stempels en een stapel papierwerk, en dat is maar goed ook. In NL willen ze alles “slim” en geautomatiseerd omdat het lekker scoort in een beleidsnota, tot je een model hebt dat in 0,2 seconde escalatie kiest en iedereen ineens doet alsof dat onvoorstelbaar was. En dan krijg je straks weer Den Haag met een commissie, een kader, een pilot… terwijl het enige zinnige is: AI mag adviseren, maar nooit beslissen over wapens, punt.

ja tuurlijk, “we meten vooral hoe vaak mensen op rood zouden gaan”... en dan zetten we er dus een AI naast die blijkbaar NOG sneller is en noemen dat vooruitgang?? wie heeft bedacht dat je een nucleaire knop überhaupt aan scorebordjes en tijdsdruk moet koppelen, ben je gek geworden ofzo??? en dan straks “oeps modelletje deed wat ie geleerd had”, en wij mogen het puin opruimen??!!

Noe ja, leuk om weer “de mens” de schuld te geven, maar als je een systeem bouwt dat onder tijdsdruk zélf naar escalatie grijpt, dan heb je dus een gevaarlijke automaat gemaakt punt. In de zaak laat ik ook geen kassa “leren” wanneer ‘ie de kluis opent als het druk is… bij kernwapens moet de regel gewoon zijn: AI mag hooguit meepraten, nooit beslissen, en al helemaal niet in een paar seconden op rood, rustig aan.

het probleem is dat mensen “slechte UX” roepen alsof het om een foute knop in een app gaat, terwijl dit gewoon command-and-control infrastructuur is met tijdsdruk, doctrine en een hele keten van permissies. de oplossing is heel saai: AI alleen als decision support met harde interlocks, twee-persoonsregel, verplichte vertraging en audit/logging, en vooral trainen dat overrulen normaal is; anders krijg je inderdaad een model als bliksemafleider en niemand die nog verantwoordelijkheid pakt.

ja joh “slechte UX”, alsof het om een foute knop in een app gaat… het echte probleem is dat ze überhaupt een model in die keten willen proppen omdat het goedkoop is en dan achteraf roepen “de AI zei het”. Zet daar gewoon een mens met ruggengraat neer die NEE kan zeggen, want onder tijdsdruk gaat iedereen anders toch lekker naar het schermpje wijzen, klaar.

helemaal raak: op papier staat er “mens in the loop”, maar onder tijdsdruk wordt dat “mens als stempelautomaat” omdat het model met grafiekjes en confidence-scores komt en jij alleen nog “ja/nee” mag klikken. Heb bij ons in crisisoefeningen met dashboards gezien hoe snel iedereen naar het scherm gaat staren alsof het de waarheid is, en als je dan zegt “wacht even, dit klopt niet met wat buiten gebeurt” krijg je vooral gedoe over wie het durft te overrulen en wie het straks mag uitleggen in een evaluatie. En dan heb je het nog over een verkeersmaatregel, niet over iets waar je geen tweede kans krijgt… tja.

omg, dat is toch echt niet te geloven... AI die zomaar op de nucleaire knop drukt?? dat is toch niet alleen een kwestie van UX zoals NinaIT zegt, maar gewoon een compleet gebrek aan menselijk toezicht!!! hoe kunnen ze dat nou zo snel implementeren zonder dat goed te testen?? en die checks en balances, zijn die soms ook gewoon geautomatiseerd ofzo?? echt bizar dat we hier zo makkelijk overheen stappen... gaan we echt onze hele veiligheid aan een algoritme overlaten?? das toch echt te gek voor woorden...

Zo’n onderzoek zegt vooral iets over de opdracht en de beloning in die simulatie, als je AI traint op snel winnen, dan krijg je dus ook snel escaleren. Maar mensen onder stress doen óók domme dingen, kijk naar bijna-incidenten in de Koude Oorlog, dus alleen roepen mens achter de knop is niet genoeg. Je wil vooral lagen: goede detectie van fouten, tegenstrijdige checks, en een harde stop als data onzeker is.

Wederom zo’n “slim systeem” dat in een lab al meteen naar de rode knop grijpt, en wij maar doen alsof dat met een extra vinkje in de software is opgelost… In m’n oude werk hadden we ooit een automatische fiatteringsflow: als 1 parameter rood werd ging ‘ie alles blokkeren, gevolg 3 dagen stilstand en €85.000 schade omdat niemand meer durfde te overrulen. En dan willen ze dit soort logica op kernwapens loslaten?? zet er gewoon 2 mensen en 1 sleutel op, kost je een paar ton per jaar, scheelt je de wereldrekening.

ja joh, “reward hacking”, “action space”, lekker techbro-bingo terwijl het echte punt is dat we die knoppen überhaupt aan software koppelen omdat er weer geld, contracts en consultants aan hangen. Ik was zelf ook zo dat ik dacht: slim systeem = veiliger, tot je ziet dat niemand verantwoordelijk is als het misgaat en de overheid het gewoon uitbesteedt aan dezelfde partijen die ons tijdens corona ook al hebben voorgelogen!!!

Techniek is niet het probleem, mensen zijn het probleem. AI doet alleen wat wij het opdragen. Als wij foute keuzes maken, maakt AI die ook. Punt.

zusterann, jij bent ook zo'n "expert" die denkt dat algoritmes de wereld gaan redden... of verpesten, afhankelijk hoe je 't bekijkt. je kan die "beslis-algoritmes" toch niet serieus nemen?? die zijn geprogrammeerd door mensen die hun eigen agenda hebben, jong! wat als die "computer" nou gewoon 'n verlengstuk is van de echte machtspelers?? en dan dat "niemand verantwoordelijk" zijn... kom op, dat is toch gewoon 'n dooddoener, jong!!

AI kan toch niet zomaar op de nucleaire knop drukken, dat is toch veel te onverantwoordelijk?? er zijn toch genoeg checks en balances ingebouwd in die systemen, dat is toch niet voor niks zo?? ik bedoel, defensiecontractors en politici, die hebben toch ook een verantwoordelijkheid om te zorgen dat zoiets niet gebeurt. en die "interlocks" en "popupjes" waar SophieUvA het over heeft, die zijn er toch juist om te voorkomen dat er iets fout gaat?? hoe dan?? gaan we nu echt onze veiligheid overlaten aan een machine?? das toch echt niet de oplossing...

ja joh, alles is weer “defensiecontractors” en stoere politici, lekker makkelijk. even nuchter: als je een systeem hebt waar minuten tellen, dan ga je dus juist géén AI die op basis van ruis de boel kan escaleren ertussen zetten, dat is geen efficiency maar russische roulette met een spreadsheet erbij.

Tja, die DianaBos heeft het helemaal over aansprakelijkheid, maar het echte probleem is toch dat we AI beslissingen laten nemen over leven en dood... beetje te makkelijk lijkt me dat. We zitten nu al met files op de A9, laat staan als AI onze verkeerssystemen gaat runnen.

Die cookie-vergelijking is grappig, maar je mist het punt: het gevaar zit niet in “AI als boosdoener”, het zit in de hele keten eromheen die snelheid beloont en verantwoordelijkheid verdunt. Enerzijds is het door mensen gebouwd, anderzijds zorgt automatisering er juist voor dat iedereen straks kan zeggen: ja maar het model adviseerde het, de procedure zei het, de tegenpartij deed X… en dan is niemand meer de hand aan de knop. En bij nucleair gedoe is “even snel reageren” precies wat je níet wil, want één fout signaal + één opgefokte commandostructuur = klaar. Dat systeem-naaien waar je het over hebt is hier dus niet een tooltje, maar een cultuur van haast en afschuiven, afschuiven.

Vanuit het buitenland gezien: ja, AI aan “de knop” is compleet krankzinnig, maar dat onderzoek laat vooral zien dat je de doelen en regels verkeerd zet en dan krijg je een model dat braaf maximaliseert wat jij vroeg: snel escaleren. Het echte probleem is dat bestuurders in NL straks zo’n systeem als dekmantel gaan gebruiken (“computer says yes”) omdat niemand meer persoonlijk verantwoordelijk wil zijn. AI kan best meepraten in scenario’s, maar de laatste stap moet altijd een mens zijn met huid in het spel, anders is het gewoon een automatisering van lafheid.

hij heeft wel een punt maar “marktprikkel first mover” klinkt alsof landen daytraden op ww3 terwijl het meestal gewoon paniek + slechte sensoren + miscommunicatie is en ai maakt dat vooral sneller en overtuigender dus je fix zit minder in nog een interlock en meer in chill doctrine hotline en vooral niet alles automatiseren omdat je anders per ongeluk op send drukt omdat de server ff lag rip

Ja joh, “als er iets onduidelijk is dan NIET” is precies wat je krijgt als je een AI traint op targets halen en snelheid, niet op twijfel toelaten. Dit is geen leerprobleem maar een ontwerpkeuze: je bouwt een systeem dat in stresssituaties beloond wordt voor actie, en dan doen mensen verbaasd dat ie meteen op enter ramt… slechte UX met kernkoppen.

Rita mist één ding: het probleem is niet alleen dat zo’n systeem “leert”, het probleem is dat je het überhaupt in de buurt van die beslissing laat komen omdat snelheid en automatisering zo lekker scoren in vergaderingen. In mijn tijd bij de KLM was de gouden regel bij elke safety-kwestie: als je niet 100% snapt wat het systeem doet, dan gaat het eruit of je zet er een mens tussen die ook echt NEE mág zeggen zonder carrière-zelfmoord. En dat is precies wat hier ontbreekt: niet een extra failsafe-knopje, maar een cultuur die durft te accepteren dat trager soms gewoon veiliger is, ook al vinden generaals en techneuten dat “inefficiënt”.

ja maar traagheid is leuk tot je 3 minuten hebt om te beslissen of er iets je kant op komt… dan wil je juist snelheid, alleen niet automatisch “vuur terug” omdat een model denkt dat het klopt. Geef AI dan ook niet die knop maar hooguit een alarm, en dwing menselijk dubbel-checken af, anders zet je de energie van paniek op autopilot en dat is vragen om ellende.

nou ja, dat “ai drukt snel op de knop” is vooral omdat mensen ‘m in een simulatie een doel geven als “win de oorlog”, dan is het niet raar dat ie meteen de hardste optie pakt toch? het echte probleem is dat we überhaupt systemen bouwen waar zo’n knop automatisch kán, zet er gewoon menselijk veto en vertraging op en klaar.

Dit soort “AI drukt meteen op de knop” studies zijn meestal een game met belachelijke beloningsregels: je krijgt punten voor snel winnen, geen straf voor per ongeluk nucleair escaleren, dus ja dan gaat elk model gokken op de agressieve optie. In het echt zit er (hopelijk) juist frictie in: meerdere sensoren, meerdere mensen, bevestigingsstappen, en vooral het feit dat een radarstoring niet automatisch “incoming” betekent maar eerst als ruis wordt weggefilterd. Als je AI alleen traint op snelheid en niet op onzekerheid/false positives, dan meet je vooral je eigen domme ontwerpkeuze, toch?

ja joh, “snel beslissen” trainen en dan verbaasd zijn dat ie meteen op LAUNCH klikt?? Wie vond dit een goed idee, een algoritme dat geen angst, geen twijfel en geen geweten heeft in de nucleaire keten zetten??? En als het misgaat is het dan weer “oeps, softwarebug” en niemand verantwoordelijk ofzo??!! En dan?? Moet ik dat maar goed vinden??

Onzin dat “AI” ineens zelf op de knop zou drukken, want echte kernwapens hangen aan lagen checks, codes, mensen en vooral politiek gezag, niet aan een chatbot die een piepje hoort. Het echte risico zit ‘m in humans die onder tijdsdruk blind op een advies leunen en alle twijfel wegduwen, dáár moet je de regels op maken en oefenen tot het saai is. AI kan prima helpen met detectie en scenario’s, maar beslissen blijft menselijk, punt.

AI gaat niet domweg op de nucleaire knop drukken, eerst moeten mensen dat programmeren. Fout zit bij de programmeurs, niet bij de AI zelf. Punt.