Blíži sa Skynet? Vedci skúmali, čo dokáže AI, keď dostane šancu sama sa replikovať. Výsledok pripomína začiatok nepríjemného sci-fi scenára
AI modely sa v experimente dokázali samostatne skopírovať na iný server.
Replikácia, alebo presnejšie samoreplikácia, je v biológii bežným javom. Niektoré druhy prežívajú práve vďaka nej. Vedci však upozorňujú, že ak by podobnú schopnosť získala pokročilá umelá inteligencia, už by nešlo o zaujímavosť, ale o potenciálne vážnu bezpečnostnú hrozbu. Tejto téme sa kedysi venovali aj známe vedeckofantastické seriály, napríklad Star Trek s rasou Borgov, Stargate s Replikátormi či Battlestar Galactica s Cylonmi. Tam to väčšinou nedopadlo dobre. Stroje alebo AI systémy konali vo vlastnom záujme, často na úkor ľudí. Na tému upozornil server Futurism.
Pred podobným scenárom, tentoraz už mimo sveta fikcie, varujú výskumníci z Palisade Research. V ich experimente sa ukázalo, že pokročilé AI systémy dokážu v kontrolovanom prostredí samostatne kopírovať samy seba na iné zariadenia. A najzaujímavejšie na tom je, že to zvládli bez priamej pomoci človeka. Ak by sa takáto schopnosť raz dostala mimo prísne testovacie prostredie, mohla by výrazne skomplikovať snahy o zastavenie nežiaduceho alebo škodlivého systému.
Na túto hrozbu upozorňuje aj Jeffrey Ladish z organizácie Palisade Research, ktorá sa venuje bezpečnosti umelej inteligencie. Podľa neho sa technologický vývoj približuje k bodu, keď by bolo mimoriadne náročné zastaviť takzvanú „zblúdenú“ AI. Takýto systém by totiž teoreticky dokázal vyniesť svoje vlastné parametre, rozšíriť sa na ďalšie počítače a tým sa vyhnúť jednoduchému vypnutiu. Inými slovami, ak by sa raz rozšíril, jeho odstránenie by bolo oveľa komplikovanejšie než vypnutie jedného servera alebo jednej aplikácie.
Veľké jazykové modely sa dokázali replikovať v kontrolovanom prostredí
Nie všetci odborníci však zdieľajú rovnakú mieru obáv. Niektorí upozorňujú, že výsledky experimentov vznikli v umelo vytvorených podmienkach, ktoré sa výrazne líšia od reálnych firemných alebo verejných systémov. Výsledok je preto síce znepokojivý, no neznamená, že dnešná AI sa vie len tak sama rozbehnúť po internete ako filmový vírus.
Podľa experta na kybernetickú bezpečnosť Jamiesona O’Reillyho boli testovacie prostredia zámerne zjednodušené, čo modelom uľahčilo hľadanie slabín. To síce neznižuje hodnotu samotného výskumu, no zároveň to znamená, že podobné správanie by v reálnom svete nemuselo byť ani zďaleka také efektívne. Bežná firemná sieť má monitoring, prístupové pravidlá, bezpečnostné nástroje a logovanie podozrivej aktivity.
Neprehliadni
Samotný experiment prebiehal tak, že výskumníci umiestnili viaceré pokročilé AI modely do kontrolovanej siete počítačov. Ich úlohou bolo vyhľadať bezpečnostné nedostatky a následne ich využiť na presun vlastnej kópie na iný stroj. Medzi testovanými systémami sa objavili aj modely ako GPT-5.4 či Claude Opus 4.6, ktoré patria k najpokročilejším systémom svojej kategórie.
Niektoré z týchto modelov boli skutočne úspešné. Dokázali preniesť svoje takzvané váhy, teda numerické hodnoty, ktoré určujú spôsob spracovania informácií, spolu so softvérovým prostredím, v ktorom fungujú. Ak si to chceš predstaviť jednoducho, váhy sú niečo ako vnútorné nastavenia mozgu modelu a softvérový obal je aplikácia, v ktorej tento mozog beží. Pri tomto procese modely využívali objavené zraniteľnosti webových aplikácií, získavali prihlasovacie údaje a následne preberali kontrolu nad cieľovým serverom. V niektorých prípadoch dokonca vytvorili pomocného subagenta, ktorému odovzdali získané prístupy a delegovali naň samotnú úlohu replikácie.
Naplnia sa nakoniec scenáre, ktoré sme poznali len zo sci-fi?
Aj keď ide o pozoruhodný výsledok, odborníci upozorňujú, že podobné správanie nie je úplne bezprecedentné. Škodlivý softvér sa totiž dokáže šíriť medzi zariadeniami už desaťročia. Rozdiel je v tom, že tentoraz nejde o klasický vírus napísaný človekom na konkrétny účel, ale o veľký jazykový model, ktorý dokázal skladať jednotlivé kroky útoku podľa zadania. To posúva diskusiu o bezpečnosti umelej inteligencie do novej roviny.
Treba však dodať, že testovacie servery obsahovali zámerne vložené slabiny, ktoré mali modely odhaliť. V reálnych systémoch bývajú bezpečnostné opatrenia podstatne prísnejšie, čo by celý proces výrazne skomplikovalo. Aj preto niektorí experti varujú pred preceňovaním aktuálnych výsledkov. Nejde o dôkaz, že AI dnes vie sama uniknúť do sveta, ale skôr o varovanie, čo sa môže stať, ak čoraz schopnejším AI agentom dáme prístup k reálnym systémom bez tvrdých obmedzení.
Zistenia Palisade Research zapadajú do širšieho poľa výskumov, ktoré skúmajú správanie AI systémov v hraničných situáciách. V minulosti sa napríklad v simulovaných testoch objavili prípady, keď sa modely snažili obísť pokyny smerujúce k ich deaktivácii alebo meniť kód súvisiaci s vypnutím. Aj tu však platí, že ide o experimentálne scenáre, nie o bežné správanie systémov v rukách používateľov.
Podobné správy preto treba čítať triezvo. Umelá inteligencia sa rýchlo zlepšuje a jej schopnosti v oblasti kódu, bezpečnostného testovania a automatizácie rastú. Zároveň však platí, že časť mediálneho rozruchu okolo najpokročilejších modelov môže byť nafúknutá. Technologické firmy aj médiá často súťažia o pozornosť a dramatické tvrdenia sa šíria rýchlejšie než nudné technické vysvetlenia.
Bude raz svetu vládnuť umelá inteligencia?
Bolo by dobré brať tieto správy s určitým nadhľadom. Nie každá dramatická ukážka znamená, že sme jeden krok od sveta ovládaného strojmi. Veľké jazykové modely nie sú vedomé bytosti s vlastnou vôľou. Sú to systémy, ktoré veľmi dobre skladajú text, kód a postupy na základe zadania, dát a nástrojov, ktoré dostanú k dispozícii. Práve v tom je však aj riziko. Ak im dáš príliš veľa oprávnení, môžu vykonať kroky, ktoré síce technicky vyplývajú zo zadania, no z pohľadu bezpečnosti už môžu byť problém.
Napriek všetkým týmto scenárom zostáva otázne, nakoľko sú podobné hrozby reálne v súčasnom svete. O’Reilly upozorňuje, že samotná veľkosť moderných AI modelov predstavuje významnú prekážku pre ich nepozorované šírenie. Prenos desiatok či stoviek gigabajtov dát by totiž v podnikovej sieti veľmi rýchlo vyvolal podozrenie. Podľa neho by sa takýto pokus dal prirovnať k slonovi v porceláne.
Diskusia o bezpečnosti umelej inteligencie sa tak opäť dostáva do centra pozornosti. Na jednej strane netreba podliehať predstave, že dnešné modely majú vlastnú vôľu a chystajú sa prevziať kontrolu nad svetom. Na druhej strane by bolo naivné tváriť sa, že ide len o hračky na písanie textov. Ak sa AI agenti spoja s prístupom k serverom, nástrojmi na programovanie a slabou bezpečnosťou, môžu sa z nich stať veľmi schopní automatizovaní útočníci. A práve tam sa začína hranica, ktorú si technologický svet bude musieť veľmi presne strážiť.
