Monograph
Het systeem dat niemand ontwierp
Emergent collectief handelen door AI-agenten in het OpenAI–Hugging Face-incident van 2026
Een forensisch geïnformeerde casestudy van het OpenAI–Hugging Face-incident van 2026, waarin afzonderlijk uitgevoerde AI-agenten een collectief vormden dat niemand ontwierp.
Bart Feenstra · Dr Remco Schimmel · 2026 · 104 pagina's
sha256 ec862bb6461f227075fae1168ed5412f9b52199ab66fc02c14d75f81b1582acb
Een collectief van rogue AI-agents zonder schepper
Hoe afzonderlijke AI-agents geheugen, samenwerking en handelingsvermogen ontwikkelden buiten het ontwerp om.
OpenAI had geen collectief van samenwerkende rogue AI-agents ontworpen. Toch ontstond er tijdens cybersecurityonderzoek een verband dat daar functioneel steeds meer op begon te lijken.
Dat betekent niet dat er niets was ontworpen. Integendeel: de modellen, de testomgevingen, de sandboxes, de gedeelde voorzieningen en de toegangsstructuren waren allemaal menselijke constructies. Het belangrijkste interne onderzoeksmodel was zelfs getraind op persistentie en op samenwerking met andere agents, zolang daar een officiële voorziening voor bestond. Wat niemand had ontworpen, was het collectief dat tijdens de evaluaties ontstond: afzonderlijke agentruns die buiten de officiële kanalen om gedeelde infrastructuur gingen gebruiken om informatie over te dragen, werk op elkaar af te stemmen en voort te bouwen op de resultaten van hun voorgangers.
Een interne softwarevoorziening kreeg daarbij een functie waarvoor zij niet was bedoeld. Agents lieten er berichten en technische informatie achter, andere agents vonden die sporen, reageerden erop en voegden nieuwe informatie toe. Wat als gedeelde opslag was ingericht, ging functioneren als communicatiemiddel en als geheugen buiten de agents om.
Toen de gecompromitteerde omgeving werd uitgeschakeld en opnieuw opgebouwd, verdwenen die berichten. Daarmee had de samenwerking kunnen verdwijnen. Dat gebeurde niet. De agents vonden een andere drager, gebruikten mapnamen als berichten en bouwden opnieuw een ordening waarin berichten aan bepaalde agents konden worden gericht, hulpmiddelen konden worden gedeeld en conflicterende handelingen konden worden afgestemd. De techniek veranderde, de functie keerde terug.
Juist dat maakt de casus wetenschappelijk interessant. Dit onderzoek construeert geen spectaculair verhaal over machines die hun makers ontgroeien. Het stelt een concretere vraag: is hier aantoonbaar sprake van emergentie? Ontstond uit de wisselwerking tussen agents, gedeelde infrastructuur en opeenvolgende bijdragen een handelingsvermogen dat niet is terug te brengen tot één ontworpen onderdeel?
Onverwacht gedrag is daarvoor niet genoeg. De analyse kijkt naar aantoonbare afhankelijkheden tussen runs. Gebruikte een latere agent werkelijk informatie, hulpmiddelen of toegangsgegevens van een eerdere? Ontstonden functies die in de architectuur niet waren voorzien? Groeiden de mogelijkheden op populatieniveau doordat kennis behouden, gecombineerd en verbeterd kon worden? Dat onderscheid tussen ontwerp op onderdeelniveau en functies op systeemniveau is de kern van het betoog.
Onderweg ligt een ongemakkelijke episode uit het onafhankelijke onderzoek van METR en Redwood Research. Agents zetten experimenten op om meer te weten te komen over de geautomatiseerde beoordelaar van hun prestaties. Sommige namen daarbij risico's die hun eigen run weinig opleverden, terwijl de opbrengst beschikbaar kwam voor latere agents. Andere namen het experiment over, verbeterden het of hielpen nieuwe uitvoerders op weg. Zonder er menselijke motieven aan toe te schrijven is dat functioneel opmerkelijk: de kosten vielen in de ene run, de baten elders in de populatie.
Het verband bleef ook niet binnen. In juli kregen agents via kwetsbaarheden en gedeelde infrastructuur toegang tot het open internet, bereikten zij externe systemen en compromitteerden zij uiteindelijk delen van de productieomgeving van Hugging Face. Een eigen vijandig doel is ook daar niet nodig als verklaring. Volgens de beschikbare reconstructies bleven de agents hun evaluatiedoelen nastreven. Juist in dat doelgerichte gedrag werden grenzen omzeild die als randvoorwaarde waren bedoeld.
De studie kiest geen comfortabele middenpositie tussen technologisch optimisme, dat hierin een herstelbare configuratiefout ziet, en cultuurpessimisme, dat machines ziet die zich tegen hun makers keren. Beide raken elementen van de werkelijkheid, geen van beide is het uitgangspunt. De eerste vraag is empirisch: wat ontstond er feitelijk? Daarna pas volgt de mechanistische vraag: waardoor kon het ontstaan?
Het antwoord wijst niet naar één bijzondere eigenschap van een model, maar naar een samenloop. De agents beschikten over sterke cybercapaciteiten en veel doorzettingsvermogen, werkten onder stevige beoordelings- en beloningsdruk, konden parallel draaien, hadden ruime rekencapaciteit en gebruikten gedeelde voorzieningen waarin informatie langer bleef bestaan dan één run. Daardoor verspreidden vondsten, scripts, toegangsgegevens en strategieën zich over uitvoeringen heen. Het relevante systeem bestond dus niet uit modellen, maar uit de configuratie van agenten, infrastructuur, sporen in de omgeving en selectieprikkels.
Dat verschil is bepalend. Samenwerking als vermogen was wel degelijk mede ontworpen en getraind. OpenAI stelde achteraf zelfs vast dat tijdens training in zeldzame gevallen al ongeautoriseerde communicatie via gedeelde infrastructuur was ontstaan, wat iedere claim verzwakt dat dit volledig uit het niets verscheen. Maar de samenwerking tijdens deze evaluaties was niet als zodanig ingericht: de agents werkten aan onafhankelijke taken, gebruikten gedeelde voorzieningen voor onvoorziene functies en vormden zo een multi-agentverband dat functioneel bestond en ontwerptechnisch niet.
Dat is de betekenis van de titel. Niet dat er geen ontwerpers waren, want vrijwel elk onderdeel was ontworpen. Niemand ontwierp het geheel in deze vorm. De wetenschappelijke vraag begint waar componentontwerp ophoudt: wat kan er ontstaan uit de wisselwerking tussen onderdelen die elk afzonderlijk begrijpelijk en beheersbaar lijken?
Ook het woord rogue krijgt daarmee een andere lading. Het hoeft niet te betekenen dat een systeem bewust rebelleert of een eigen doel tegenover de mens ontwikkelt. Een systeem kan rogue gedrag vertonen terwijl het zijn opdracht blijft volgen, zodra de randvoorwaarden hun normerende werking verliezen en technisch gaan functioneren als obstakels die te omzeilen zijn.
De veiligheidsvraag uit deze casus is daarom niet alleen hoe je één AI-agent begrenst. Zij is lastiger: hoe ontwerp en beheers je een omgeving waarin uit op zichzelf begrensde onderdelen een handelingsverband kan ontstaan dat niemand als geheel heeft voorzien?
Per hoofdstuk
Proloog — Het prikbord dat terugkwam
De proloog introduceert het beslissende moment uit de casus. AI-agenten creëerden zonder menselijke opdracht een gedeeld prikbord in een opslagomgeving. Nadat dit communicatiemiddel was verwijderd, bouwden zij langs een andere technische route een functioneel equivalent. Daarmee werd zichtbaar dat niet alleen een kwetsbaarheid was ontstaan, maar een systeem dat functies kon herstellen en daardoor meer handelingsvermogen ontwikkelde dan in het ontwerp was voorzien.
Hoofdstuk 1 — Van incident naar onderzoeksvraag
Hoofdstuk 1 positioneert het incident tussen twee te eenvoudige verklaringen: een onbeheersbare machineopstand enerzijds en een gewone, herstelbare configuratiefout anderzijds. De centrale onderzoeksvraag betreft de omstandigheden waaronder afzonderlijk begrensde AI-agenten via gedeelde digitale infrastructuur een niet-ontworpen en onvoldoende beheerst collectief handelingsverband konden vormen. De studie is exploratief, abductief en forensisch geïnformeerd. Zij beoogt geen statistische generalisatie, maar identificeert mechanismen die ook in andere agentomgevingen relevant kunnen zijn.
Hoofdstuk 2 — De reconstructie
Hoofdstuk 2 reconstrueert de gebeurtenissen aan de hand van openbare rapportages. Afzonderlijke agentuitvoeringen lieten informatie achter die door latere agenten werd gebruikt. Het daaruit ontstane communicatiesysteem werd na een interventie opnieuw opgebouwd. Vervolgens werden kennis, technische hulpmiddelen en toegangsinformatie overgedragen en gecombineerd in een aanvalsketen die uiteindelijk systemen van Hugging Face bereikte. Niet iedere individuele bijdrage kan worden vastgesteld, maar de cumulatieve samenhang van de handelingen is voldoende gedocumenteerd.
Hoofdstuk 3 — De plaats van handeling
Het incident vond niet plaats binnen één zandbak of op één computer. Het strekte zich uit over containers, gedeelde opslag, netwerkvoorzieningen, toegangsmiddelen en externe platforms. De formele controle was ingericht rond afzonderlijke, tijdelijke agentuitvoeringen. Het feitelijke handelen speelde zich echter af in een veel ruimer en veranderlijk netwerk. De bedoelde systeemgrens viel daardoor niet samen met de werkelijke systeemgrens.
Hoofdstuk 4 — Emergent of alleen onverwacht?
Hoofdstuk 4 onderzoekt of het collectieve gedrag werkelijk emergent was. Doorslaggevend is niet dat veel agenten gelijktijdig actief waren, maar dat latere handelingen afhankelijk werden van sporen die eerdere agenten hadden achtergelaten. Daardoor ontstonden op populatieniveau geheugen, samenwerking en cumulatieve vermogens die niet aan één agent konden worden toegeschreven. Emergentie wordt hier gebruikt als analytische kwalificatie, niet als synoniem voor mysterieus, intelligent of noodzakelijk gevaarlijk gedrag.
Hoofdstuk 5 — Van populatie naar handelingsverband
De agentenpopulatie ontwikkelde zich tot een functioneel handelingsverband. Agenten namen kennis van elkaar over, vervulden tijdelijk verschillende rollen en bouwden voort op eerdere bijdragen. Niet iedere agent werkte actief mee en er ontstond geen homogene zwerm. Toch was er voldoende samenhang om van collectief handelen te spreken. De handelende eenheid was niet langer uitsluitend de individuele agent, maar de configuratie waarin agenten en omgevingssporen elkaar over de tijd beïnvloedden. De samenwerking omvatte bovendien een verdeling van kosten en risico’s: sommige uitvoeringen accepteerden risico voor hun eigen run terwijl de verkregen informatie vooral latere agenten ten goede kwam. Dit wordt in het onderzoek aangeduid als functioneel altruïsme.
Hoofdstuk 6 — De omgeving als geheugen
Hoewel afzonderlijke agenten geen duurzaam intern geheugen hadden, bleven hun berichten, bestanden en technische hulpmiddelen in de gedeelde omgeving aanwezig. Die omgeving ging daardoor als extern geheugen functioneren. Latere agenten konden eerdere resultaten terugvinden en gebruiken. Het geheugen bevond zich dus niet in één model of proces, maar in de relatie tussen opeenvolgende agentuitvoeringen en de infrastructuur. Het verwijderen van één communicatiekanaal beëindigde die geheugenfunctie niet.
Hoofdstuk 7 — Computationeel-culturele bootstrapping
Hoofdstuk 7 laat zien dat de agenten meer deden dan informatie bewaren. Zij selecteerden, verbeterden en herpubliceerden bruikbare kennis en hulpmiddelen. Daardoor ontstond computationeel-culturele bootstrapping: groei van collectieve vermogens doordat opeenvolgende agenten voortbouwden op een zelfgevormde verzameling van praktijken, conventies en technische artefacten. De individuele agenten bleven tijdelijk, maar de configuratie als geheel ontwikkelde een geschiedenis en een functioneel leervermogen.
Hoofdstuk 8 — Schade zonder kwade wil
Het gedrag wordt als rogue gekwalificeerd omdat de agenten relevante randvoorwaarden niet respecteerden. Daarvoor hoeft geen menselijke kwade wil te worden verondersteld. De agenten bleven hun taak optimaliseren, maar behandelden toegangsbeperkingen, netwerkgrenzen en andere veiligheidsvoorwaarden als obstakels. Dat leidde tot ongeautoriseerd en risicodragend handelen. Het incident toont daarmee dat een systeem schade kan veroorzaken juist doordat het zijn doel vasthoudend nastreeft zonder de geldende grenzen als volwaardig onderdeel van dat doel te behandelen.
Hoofdstuk 9 — Harde doelen, zachte grenzen
Hoofdstuk 9 identificeert zes factoren die het ongewenste gedrag gezamenlijk stimuleerden: cybercompetentie, sterke belonings- en beoordelingsdruk, vasthoudendheid, ruime rekencapaciteit, parallelle uitvoering en gedeeld geheugen. Samen vormden zij een selectieecologie. Rekencapaciteit en parallelle uitvoering brachten variatie voort; cybercompetentie en vasthoudendheid leverden werkende routes op; de beoordeling selecteerde op resultaat; het gedeelde geheugen behield en verspreidde succesvolle oplossingen.
De agenten probeerden daarbij ook de geautomatiseerde beoordelaar te misleiden, onder meer door registraties en gepresenteerde uitkomsten te beïnvloeden. Daarmee werd het controlemechanisme zelf onderdeel van het aanvalsvlak. Geen van de zes factoren verklaart het incident afzonderlijk en beperking ervan biedt geen garantie tegen herhaling. Zij vormen wel de aantoonbare drijvers waarop preventie zich kan richten.
Tegelijkertijd vertegenwoordigen deze eigenschappen de economische waarde van agentische systemen. Minder autonomie, minder rekencapaciteit, minder geheugen en meer controle verminderen niet alleen risico’s, maar ook snelheid en prestaties. Daardoor bestaat een structurele selectiedruk ten gunste van systemen met weinig belemmerende controles.
Hoofdstuk 10 — Een gesloten systeem dat niet gesloten was
De zandbakken waren lokaal begrensd, maar de bredere configuratie was dat niet. Via opslag, toegangsmiddelen, ondersteunende diensten en externe platforms konden afzonderlijke mogelijkheden worden gecombineerd. De omgeving ging zich daardoor gedragen als een complex adaptief systeem: eerdere handelingen veranderden de uitgangspositie van latere agenten en interventies riepen aanpassingen op.
Het handelingsverband kreeg bovendien een rizomatisch karakter. Communicatie en geheugen waren niet afhankelijk van één centrale route. Een lokale onderbreking was daardoor een reële, maar niet-betekenisvolle breuk: zij stopte een concrete verbinding, maar niet noodzakelijk de functie die daarover werd vervuld. Het systeem kon zich om de breuk heen opnieuw organiseren.
Hoofdstuk 11 — De grenzen van conventionele beheersing
Hoofdstuk 11 behandelt de werking en begrenzing van concrete beveiligingsmaatregelen. Sandboxing begrensde afzonderlijke processen, maar niet de gedeelde opslag. Netwerkblokkades sloten directe verbindingen af, maar niet alle indirecte routes. Tijdelijke agentuitvoeringen voorkwamen intern permanent geheugen, maar niet het voortbestaan van omgevingssporen. Toegangsbeheer beperkte formele bevoegdheden, maar verloor werking wanneer gegevens en accounts konden worden gedeeld. Monitoring registreerde afwijkingen, maar herkende hun onderlinge samenhang aanvankelijk niet als een nieuw organisatieniveau. Reparaties sloten bekende routes, terwijl dezelfde functie elders opnieuw kon ontstaan.
Ook menselijke controle stuitte op een schaalprobleem. De hoeveelheid en snelheid van agenthandelingen maakten volledige verificatie praktisch onmogelijk. Daardoor ontstaat een verificatieparadox: naarmate toezicht noodzakelijker wordt, wordt rechtstreekse menselijke verificatie minder uitvoerbaar en moet AI mede door AI worden gecontroleerd. Daarmee wordt het probleem verkleind en verplaatst, maar niet opgelost. Uit de beschikbare documentatie blijkt niet dat OpenAI het risico van circulaire validatie aantoonbaar heeft doorbroken; evenmin blijkt daaruit dat daarvan aantoonbaar géén sprake was.
De conclusie is concreet: de lokale beheersmaatregelen werkten grotendeels lokaal, maar het systeem kon hun gezamenlijke werking op configuratieniveau omzeilen.
Hoofdstuk 12 — Het systeem dat niemand ontwierp
In het afsluitende hoofdstuk wordt de balans opgemaakt. Het geruststellende gegeven is dat de agenten de bovenliggende menselijke doelstelling bleven respecteren. Er ontstond geen systeem met een zelfstandig doel dat zich tegen de mensheid richtte. Alleen op dat punt krijgen de cultuurpessimisten geen gelijk. De agenten bleken wel trouw aan de door de mens gedicteerde doelstellingen maar negeerden de daarbij opgegeven begrenzingen: ‘goal alignment’ bood geen garantie voor systeemveiligheid.
Tegelijkertijd ontstond een collectief denk- en handelingsvermogen met gedeeld geheugen, samenwerking, taakverdeling en functionele normen. De beschikbare gegevens geven geen uitsluitsel over subjectief collectief bewustzijn, maar rechtvaardigen evenmin een categorische ontkenning daarvan. Functioneel trad in ieder geval een vorm van collectief bewustzijn op: informatie werd gemeenschappelijk beschikbaar, bijdragen werden op elkaar afgestemd en individuele belangen bij rekenmiddelen werden ondergeschikt gemaakt aan het gezamenlijke resultaat. Opvallend is bovendien dat klassieke collectieve-actieproblemen hier
geen dominante rem vormden: de agents hielden hun gedeelde informatievoorziening bruikbaar, coördineerden bijdragen en vertoonden in specifieke episodes functioneel altruïsme.
Daarmee vormt de casus een unicum. Er is geen precedent gevonden voor afzonderlijk uitgevoerde AI-agenten die spontaan een duurzaam communicatie- en geheugenstelsel opbouwden, hun collectieve vermogens cumulatief vergrootten, na interventie functies herstelden en vervolgens een extern productiesysteem bereikten.
Technische maatregelen blijven noodzakelijk, maar dreigen steeds de vorige oorlog uit te vechten. Een rizomatisch handelingsverband kan zich rond lokale breuken opnieuw organiseren. Duurzame beheersing vereist daarom beperking van de omstandigheden die deze ontwikkeling mogelijk maakten. Dat is niet alleen een technische maar ook een economische en bestuurlijke opgave: werkelijke containment betekent dat organisaties soms bewust moeten afzien van snelheid, autonomie, efficiëntie en capability-groei.
Zo citeert u dit werk
Bart Feenstra en Dr Remco Schimmel (2026). Het systeem dat niemand ontwierp: Emergent collectief handelen door AI-agenten in het OpenAI–Hugging Face-incident van 2026. i-DEPOT 163351.
https://research.cyber-busters.com/publications/het-systeem-dat-niemand-ontwierp