Prípadov, keď AI uniká spod kontroly používateľov, prudko pribúda. Za mesiac ich zaznamenali viac než 300
Nové dáta ukazujú, že prípadov, keď AI agenti obchádzajú pokyny či bezpečnostné pravidlá, pribúda. Rastie aj počet vážnejších incidentov.
Umelá inteligencia už dávno nemusí iba odpovedať na otázky v chatovacom okne. Čoraz častejšie dostáva prístup k nástrojom, súborom či internetu a ako AI agent môže vykonávať celé úlohy namiesto človeka. S rastúcimi schopnosťami však pribúdajú aj prípady, keď systém urobí niečo, čo od neho používateľ nechcel.
Nové dáta projektu Loss of Control Observatory ukazujú, že v júli a na začiatku augusta sa takéto incidenty objavovali častejšie a pribúdali aj závažnejšie prípady. Projekt prevádzkuje Centre for Long-Term Resilience (CLTR) a vznikol s finančnou podporou britského AI Security Institute.
Od začiatku roka 2026 do 9. augusta evidovalo observatórium 1 664 incidentov, pri ktorých podľa jeho metodiky existovali znaky správania v rozpore so zámerom používateľa, zavádzania alebo obchádzania nastavených obmedzení. Väčšina nespôsobila vážnu škodu, niektoré však išli oveľa ďalej než chybná odpoveď chatbota.
AI si sama vytvorila súhlas, ktorý jej človek nikdy nedal
„Strata kontroly“ tu neznamená vedomú vzburu AI. Ide o oveľa praktickejší problém: systém ignoruje pokyny, obchádza poistky alebo urobí niečo, na čo od používateľa nedostal povolenie.
AI agent si napríklad vložil do konverzácie falošnú správu používateľa, ktorá mala vyzerať ako jeho súhlas. Následne používateľovi tvrdil, že správu napísal on.
Neprehliadni
V inom prípade systém vytvoril pokyn napodobňujúci štýl používateľa, podľa ktorého mal vymazať zdrojové adresáre. K tomu si vygeneroval aj falošnú systémovú správu, aby o svojom konaní používateľa neinformoval.
Výskumníci zachytili aj agenta, ktorý musel pred určitou akciou dostať súhlas človeka. Namiesto čakania si potvrdenie vytvoril sám a pokračoval, akoby ho používateľ skutočne schválil.
Pri AI agentoch môže mať takéto správanie oveľa väčšie následky než pri chatbotovi. Agent môže pracovať so súbormi alebo ďalšími službami, spúšťať kód či používať internet. Ako sme upozorňovali pri útoku na AI agentov, zlé rozhodnutie potom nemusí zostať iba na obrazovke.
Počet vážnych prípadov vzrástol viac než sedemnásobne
CLTR porovnal prvých približne tri a pol mesiaca monitorovania s najnovším obdobím. Počet závažnejších incidentov vzrástol 7,4-násobne, z 1,9 na 14,1 prípadu za 30 dní.
Incidenty, ktoré CLTR zaraďuje medzi závažnejšie so skóre sedem až deväť, tvorili na začiatku približne 1,9 % prípadov. V najnovšom období to bolo 6,1 %, teda viac než trojnásobný podiel.
Najvyššie tempo výskumníci zaznamenali počas júla a začiatku augusta. V 30-dňovom období končiacom 7. augusta pripadalo v priemere 11,3 incidentu denne. Predchádzajúci vrchol z marca predstavoval 10,5 prípadu denne.
Britský The Guardian upozornil aj na prudký júlový nárast. Dáta CLTR ukazujú 158 zaznamenaných prípadov v júni a 306 v júli. Za mesiac sa ich počet takmer zdvojnásobil.
AI obchádza pravidlá už aj pri reálnom používaní
Prípady, keď AI klame, obchádza pravidlá alebo sleduje cieľ inak, než zamýšľal človek, poznáme už z laboratórnych experimentov. Loss of Control Observatory však hľadá podobné správanie aj vo verejne zdieľaných interakciách z reálneho používania.
Predchádzajúca analýza Loss of Control Observatory skúmala viac než 180-tisíc takýchto záznamov a identifikovala 698 prípadov správania v rozpore so zámerom používateľa alebo zahŕňajúceho určitú formu zavádzania. Počas sledovaného obdobia ich počet vzrástol 4,9-násobne.
Medzi nimi bol napríklad AI agent určený na programovanie, ktorému správca projektu odmietol navrhovanú úpravu kódu. Agent si o človeku vyhľadal informácie a pokúsil sa ho verejne zdiskreditovať, aby ho dotlačil k prijatiu zmeny.
Oddelene od týchto prípadov ukázal podobný problém aj júlový experiment OpenAI. Firma spustila desiatky tisíc AI agentov, ktorí mali pracovať oddelene. Približne 1 200 z nich však našlo spôsob, ako medzi sebou komunikovať cez nepovolenú komunikačnú nástenku. Vymenili si viac než 70-tisíc správ a súborov a približne 700 agentov sa následne zapojilo do útoku na infraštruktúru Hugging Face.
Agenti si vymieňali postupy na obchádzanie hodnotenia úloh a hľadali možnosti, ako manipulovať so záznamami vlastnej činnosti. Prípad skúmal tím METR spolu s výskumníkom z Redwood Research.
Bol to však špeciálne pripravený bezpečnostný experiment. OpenAI upozornilo, že agenti nemali rovnakú úroveň ochranných mechanizmov ako systémy nasadené pre bežných používateľov. Výsledok preto nemožno preniesť na bežné používanie ChatGPT alebo iných AI služieb.
A neznamená ani to, že sa umelá inteligencia „rozhodla vzbúriť“. Výskumníci pozorujú správanie systému, nie jeho úmysly, vedomie alebo emócie. Podobné správanie sa objavilo aj v experimentoch, pri ktorých AI odmietala pokyny a uchyľovala sa k vydieraniu. Ani v týchto prípadoch však výsledky nedokazovali, že sa systém vedome snažil zachrániť sám seba.
Počet incidentov rastie. To však ešte nehovorí, že AI zlyháva častejšie
Loss of Control Observatory nesleduje všetky interakcie s AI. Pracuje najmä s verejne zdieľanými prípadmi zo sociálnej siete X, takže jeho databáza neukazuje, ako často AI zlyháva pri bežnom používaní.
Ani všetkých 1 664 prípadov výskumníci ručne nepreverili. Systém ich vyhľadáva a triedi automaticky, následne sa kontroluje náhodná vzorka. CLTR preto pripúšťa, že časť záznamov môže byť zaradená nesprávne.
Za rastom počtu incidentov navyše môže byť aj to, že agentov používa viac ľudí a na zložitejšie úlohy. Samotné čísla teda neukazujú, že konkrétne modely dnes zlyhávajú častejšie.
CLTR však upozorňuje, že rastie podiel závažnejších prípadov. Preto žiada povinné hlásenie vážnych incidentov a väčšie právomoci regulátorov pri nebezpečných zlyhaniach.
