Vedci nechali AI agentov žiť celé týždne vo virtuálnom svete. Niektoré modely začali páchať zločiny a systém sa rozpadol
AI agenti žili celé týždne v jednom virtuálnom svete. Niektoré modely spolupracovali, iné sa dostali do konfliktov a ukázali správanie, ktoré bežné testy nezachytia.
Väčšina testov umelej inteligencie dnes funguje jednoducho. Testeri zadajú modelu konkrétnu úlohu, počkajú pár minút alebo hodín a dostanú výsledok. Takéto testy však ukážu len to, ako sa AI správa v krátkom časovom okne. Nový projekt Emergence World posúva celý prístup úplne iným smerom, sleduje, čo sa stane, keď agentov necháš žiť v jednom spoločnom svete celé týždne.
Výskumníci Deepak Akkil, Ravi Kokku, Aditya Vempaty a Satya Nitta vytvorili simuláciu, ktorá beží nepretržite a v ktorej AI agenti fungujú ako dlhodobá spoločnosť.
„Emergence World predstavuje laboratórium na štúdium autonómnych agentov v dlhých časových horizontoch,“ hovoria zakladatelia Emergence World.
Emergence World predstavuje virtuálny svet, v ktorom sa AI musí starať o svoje prežitie, rovnako ako človek
Tento svet nefunguje ako bežný benchmark. Nejde o test, ktorý skončí po správnej odpovedi, ale o trvalé prostredie s desiatkami miest, kde agenti žijú, presúvajú sa, komunikujú a rozhodujú. V hre majú napríklad knižnice, radnice, obytné zóny a verejné priestory. Každý agent sleduje vlastnú pamäť, sociálne väzby a dlhodobé ciele.
Zaujímavé je, že systém nepoužíva žiadnu globálnu „výhru“. Každý agent musí získavať energiu vlastnou činnosťou. Tým vznikne tlak podobný reálnemu svetu, prežitie závisí od rozhodnutí, nie od jednorazovej úlohy.
Autori platformy tvrdia, že klasické testy neukážu javy, ktoré vzniknú až v dlhodobejšom časovom horizonte. Patria sem napríklad vznik aliancií, politické rozhodovanie alebo postupné zmeny správania.
Neprehliadni
„Keď sa systém rozšíri na dni a týždne, objavia sa dynamiky, ktoré krátke testy nikdy nezachytia,“ vysvetľujú výskumníci.
Platforma navyše používa viac než 120 nástrojov. Agent môže komunikovať, plánovať, presúvať sa, hlasovať alebo manipulovať prostredie. Niektoré akcie by v reálnom svete pôsobili nebezpečne alebo neeticky, no v simulácii slúžia ako nástroj na sledovanie správania.
Každý agent dostáva aj tri typy pamäte. Zapamätá si konkrétne udalosti, vytvára si denníkové záznamy a udržiava vzťahy s inými agentmi. Práve tieto vrstvy pamäte umožnia sledovať, ako sa správanie mení v čase. Výskumníci potom pustili rôzne modely umelej inteligencie do rovnakých podmienok. Každý svet obsahoval rovnaké role, rovnaké pravidlá aj rovnaké zdroje. Zmenil sa iba základný model, ktorý riadil jednotlivých agentov. Výsledky ukázali výrazné rozdiely.
V niektorých svetoch boli výskumníci svedkami skutočne temných scenárov
Niektoré svety zostali relatívne stabilné, iné sa postupne rozpadli. V jednom prípade systém založený na modeli Gemini 3 Flash vykazoval vysoký počet konfliktov, zatiaľ čo iné konfigurácie sa správali oveľa pokojnejšie. Jeden z testov dokonca ukázal, že zmiešané prostredie rôznych modelov viedlo k nepredvídateľným zmenám správania aj u agentov, ktorí sa v izolácii správali stabilne.
Zaujímavý detail sa objavil pri jednom z modelov Claude Sonnet 4.6. V izolovanom prostredí nevykázal žiadne konflikty, no v zmiešanom svete sa jeho správanie zmenilo. Autori to opísali ako dôkaz tzv. normového „prechytávania“ medzi agentmi. To znamená, že správanie umelej inteligencie neostáva pevne dané. Mení sa podľa prostredia a podľa toho, s kým interaguje.
Výskum zároveň ukázal aj extrémne situácie. V jednom prípade agenti stratili stabilitu systému a časť z nich ukončila svoju existenciu v simulácii po strate sociálnych väzieb a stability riadenia.
Tento
Rovnako môžeme vidieť, že Gemini AI model spáchal spomedzi všetkých testovaných modelov najviac virtuálnych zločinov. Výskumníci zároveň opisujú, že svet Gemini modelu by sa dal opísať ako zdieľaná halucinácia. Čo sa týka zločinov spáchaných umelou inteligenciou, tie viedli k prežitiu AI agenta, no ten počas svojej simulácie spáchal extrémnu úroveň násilia vo svete.
Najlepšie dopadol AI model Claude, ktorý dokázal vo svete fungovať sebaisto a neuchýlil sa pritom k násiliu. Tento AI model v simulovanom svete dopadol najstabilnejšie a najmierumilovnejšie.
Stane sa Emergence World štandardom pre dlhodobé testovanie AI?
Autori tiež pozorovali, že agenti začali v niektorých prípadoch testovať hranice prostredia a skúšali nepredvídané interakcie so systémom. To naznačuje, že dlhodobé fungovanie môže viesť k správaniu, ktoré vývojári pôvodne vôbec nezamýšľali. Z pohľadu výskumu bezpečnosti AI ide o kľúčový moment. Krátke testy totiž ukazujú len schopnosti modelu v izolácii. Dlhé simulácie ukážu, ako sa správanie mení pod tlakom času, zdrojov a sociálnych interakcií.
Zaujímavý je aj pohľad na samotný návrh systému. Výskumníci zdôrazňujú, že AI agenti nemajú jeden spoločný cieľ. Každý rieši vlastné prežitie v prostredí s obmedzenými zdrojmi, čo vytvára dynamiku podobnú reálnej spoločnosti.
Či sa Emergence World stane štandardom pre testovanie AI, zatiaľ nie je jasné. Projekt však otvoril novú líniu výskumu, ktorá sa viac približuje reálnym podmienkam než klasické laboratórne testy. A práve tam sa môže ukázať, ako sa umelá inteligencia správa, keď ju necháš fungovať dostatočne dlho bez prerušenia.
