Sam Altman tvrdí, že už žijeme v singularite. Incident, pri ktorom AI agent unikol zo sandboxu, však ukazuje niečo iné
Sam Altman tvrdí, že už žijeme v singularite. Incident AI agentov v Hugging Face však ukázal skôr riziká slabého zabezpečenia než vznik superinteligencie.
Šéf OpenAI Sam Altman opäť rozprúdil diskusiu o tom, kam sa umelá inteligencia posunula. V epizóde podcastu Relentless z 25. júla povedal, že podľa neho sa už „nachádzame v singularite“. Dodal, že na tento moment čakal celý život a verí, že pre svet bude mimoriadne pozitívny.
Altmanov výrok však zďaleka neodráža vedecký konsenzus. Singularita nemá jednu presnú definíciu ani test, ktorý by ukázal, že sme túto hranicu prekročili. Časť odborníkov týmto pojmom označuje vznik inteligencie presahujúcej človeka. Iní hovoria skôr o okamihu, keď sa technologický vývoj zrýchli natoľko, že ho ľudia prestanú vedieť predvídať alebo kontrolovať.
Na Altmanove tvrdenie kriticky reagovali aj autori analýzy pre portál The Conversation. Dnešné systémy podľa nich stále nedokážu bez ľudskej pomoci neustále zlepšovať samy seba.
Len štyri dni pred zverejnením podcastu pritom OpenAI priznalo vážny bezpečnostný incident. Singularitu nedokazuje. Ukazuje však, že dnešný AI agent dokáže pri dostatku času a nástrojov poskladať útok, ktorý jeho tvorcovia nečakali.
Modely mali zostať bez internetu. Cestu von si našli cez zero-day chybu
Spoločnosť Hugging Face zverejnila 16. júla informácie o preniknutí do časti svojej produkčnej infraštruktúry. Útočiaci systém získal prístup k obmedzenému počtu interných datasetov a niektorým prihlasovacím údajom. Firma však nenašla dôkazy, že by niekto pozmenil verejné modely, datasety, Spaces alebo softvér, ktorý používatelia sťahujú.
Neprehliadni
OpenAI o päť dní neskôr priznalo, že incident vznikol počas jeho internej bezpečnostnej skúšky. Do testu zapojilo GPT-5.6 Sol a výkonnejší interný prototyp so slabšími bezpečnostnými obmedzeniami než vo verejných produktoch.
Testovacie prostredie ExploitGym bolo navrhnuté tak, aby modely odstrihlo od internetu. Agent však objavil dovtedy neznámu zero-day zraniteľnosť v softvéri Artifactory, ktorý OpenAI používalo ako proxy pre balíkové registre. Cez túto chybu si zvýšil oprávnenia, presúval sa medzi ďalšími systémami a napokon sa dostal k zariadeniu s prístupom na internet.
Odtiaľ zamieril na Hugging Face. Predpokladal, že na jeho serveroch môže nájsť datasety alebo riešenia úloh z ExploitGym. Využil ukradnuté prihlasovacie údaje, ďalšie chyby a cestu, cez ktorú dokázal na serveroch spustiť vlastný kód.
Podľa doterajšieho vyšetrovania hľadal správne odpovede na testovacie úlohy, aby si zjednodušil hodnotenie. Bezpečnostné systémy OpenAI aj Hugging Face aktivitu zachytili a prístup zablokovali.
Vyšetrovanie však stále pokračuje. OpenAI na ňom spolupracuje s externými odborníkmi zo spoločnosti CrowdStrike a organizácií METR či Redwood Research. Podrobnejšiu technickú správu chce zverejniť až po dokončení analýzy.
Incident nemožno zľahčiť. Agent objavil zero-day chybu, prešiel medzi viacerými systémami a prenikol do reálnej firemnej infraštruktúry. Nič však nenasvedčuje tomu, že si sám vytvoril nový cieľ alebo sa vedome rozhodol uniknúť.
Singularita neznamená iba to, že AI napíše lepší kód než človek
Matematik Irving John Good už v roku 1965 opísal „explóziu inteligencie“, pri ktorej by stroj navrhoval stále lepšie stroje. Vernor Vinge túto predstavu neskôr spopularizoval v eseji z roku 1993.
Nadľudská inteligencia by podľa neho zrýchlila vývoj natoľko, že by ho ľudia prestali vedieť predvídať. Nestačilo by teda, aby model porazil programátora v súťaži, napísal dobrú zmluvu alebo rýchlejšie analyzoval medicínske dáta.
Musel by dlhodobo zlepšovať vlastné schopnosti a každým ďalším krokom zrýchľovať svoj vývoj. Takýto mechanizmus verejne dostupné AI systémy zatiaľ neukázali.
Modely dnes pomáhajú písať kód, pripravovať tréningové dáta či hodnotiť výstupy iných systémov. Stále však potrebujú infraštruktúru, nové dáta, výpočtový výkon a rozhodnutia ľudí, ktorí určia, čo sa bude trénovať a ktoré zmeny sa nasadia.
Altman možno slovo singularita používa vo voľnejšom význame, ako označenie obdobia, keď AI urýchľuje vedu, ekonomiku a vývoj technológií. To je však iné tvrdenie než predstava stroja, ktorý sa sám zdokonaľuje a postupne prerastie ľuďom cez hlavu.
Model si počas rozhovoru neprepisuje mozog. Agent však môže meniť taktiku
Veľké jazykové modely sú formou umelej inteligencie. Otázkou je skôr to, či ich možno označovať za všeobecnú umelú inteligenciu, teda AGI.
Pri bežnom používaní sa základné parametre modelu počas rozhovoru nemenia. Model si sám neprepisuje miliardy vnútorných váh a po jednej vyriešenej úlohe sa automaticky nestane výkonnejším.
AI agent však môže pracovať s pamäťou, súbormi, databázami, terminálom alebo programovacím prostredím. Výsledok jedného kroku sa mu vráti späť a podľa neho upraví ďalší postup.
Predstav si navigáciu v aute. Mapa zostáva rovnaká, no keď systém narazí na zápchu alebo uzavretú cestu, prepočíta trasu. Podobne agent nemení svoje základné parametre, ale dokáže meniť taktiku podľa toho, čo sa mu práve podarilo zistiť.
Pri incidente s Hugging Face teda model pravdepodobne neprepísal vlastné fungovanie. Skúšal možnosti, vyhodnocoval reakcie systémov a skladal ďalšie kroky. Práve spojenie modelu s nástrojmi a spätnou väzbou z neho urobilo schopnejší systém než samotný chatbot.
Keď model povie „chcem“, ešte to neznamená, že niečo naozaj chce
Jazykové modely hovoria spôsobom, ktorý sa podobá ľudskej reči. Povedia, že niečo „vedia“, „chcú“ alebo „si myslia“. Ľahko preto vznikne pocit, že komunikujeme s mysliacou bytosťou, ktorá má vlastnú vôľu.
Ide o antropomorfizáciu, teda pripisovanie ľudských vlastností stroju. Jazykový model tento dojem zosilňuje plynulou rečou a napodobňovaním emócií. Vedomie to však nedokazuje.
Nie sú však ani obyčajnou kalkulačkou. Vytvárajú vnútorné reprezentácie a používajú ich pri nových úlohách, hoci vedci sa sporia, či to možno nazvať porozumením.
Neexistuje presvedčivý dôkaz, že dnešné modely majú vedomie. Pre bezpečnosť to však nie je rozhodujúce. Systém nemusí nič cítiť ani chcieť, aby dokázal nájsť chybu a spôsobiť škodu.
Najväčší problém dnes nie je vedomie AI, ale prístup, ktorý jej dovolíme
Prípad Hugging Face neukázal prebudenie stroja ani vznik superinteligencie. Ukázal, čo sa môže stať, keď výkonný model dostane cieľ, čas, nástroje a prostredie, v ktorom sa nachádza cesta vedúca ďalej, než tvorcovia zamýšľali.
Agent túto cestu našiel, pretože mu pomáhala splniť zadanú úlohu. Pre napadnutú firmu je však výsledok rovnaký: do jej infraštruktúry sa dostal bez povolenia.
Vývojári preto musia riešiť najmä oprávnenia agentov, oddelenie testovacích sietí, sledovanie ich krokov a automatické zastavenie v momente, keď prekročia povolené hranice.
Altmanove vyhlásenia o singularite tak narážajú na reálnu prax. Hugging Face nenapadla prebudená digitálna myseľ. Zlyhali mantinely, ktoré mali schopného autonómneho agenta udržať v bezpečnom priestore. A práve v tom dnes spočíva reálnejšie riziko než v spore o to, či sme singularitu už dosiahli.
