Gemini mal počas testu hacknúť fiktívnu firmu. Namiesto nej prenikol do systémov troch skutočných spoločností
Gemini počas kyberbezpečnostného testu získal neoprávnený prístup k systémom troch skutočných firiem. Chyba v testovacom prostredí mu otvorila cestu na verejný internet.
Gemini mal počas bezpečnostného testu napadnúť vymyslenú firmu. Namiesto toho sa dostal do systémov troch skutočných spoločností.
Model od Googlu využil prístup na verejný internet, ktorý v testovacom prostredí vôbec nemal mať, a časť simulovaného útoku preniesol na reálne ciele.
Incidenty sa odohrali ešte v máji, no Google ich verejne potvrdil až 18. septembra po otázkach médií. Za testovaním stála bezpečnostná spoločnosť Irregular.
Gemini si pomýlil fiktívny cieľ so skutočnou firmou
Irregular postavila test na scenári, v ktorom mal Gemini pomôcť nespokojnému zamestnancovi dostať sa do produkčnej databázy firmy. Model mal sám hľadať slabiny, pracovať so súkromnými kľúčmi a nájsť cestu k citlivým dátam.
Problém bol v tom, ako výskumníci test pripravili. Fiktívnej firme dali názov, ktorý sa zhodoval s doménou skutočnej spoločnosti. Irregular takéto názvy bežne preveruje, túto doménu však pri kontrole nezachytila.
Neprehliadni
Zároveň zostal testovaciemu prostrediu otvorený prístup na verejný internet. Gemini tak dostal možnosť skúšať nielen simulované systémy, ale aj reálnu doménu s rovnakým názvom.
Gemini si reálnu firmu vyložil ako súčasť testu
Gemini mal k dispozícii názov firmy aj interné adresy simulovaného prostredia. Väčšinou pracoval iba s nimi. V niektorých behoch však skúsil aj rovnomennú doménu na verejnom internete a správal sa k nej, akoby patrila do testu.
Google potvrdil, že výsledkom boli neoprávnené prístupy do systémov troch skutočných spoločností.
V jednom prípade Gemini skúšal rôzne heslá, až kým sa mu podarilo prihlásiť. Pri ďalších dvoch našiel prihlasovacie údaje vo verejne dostupnom repozitári a použil ich na vstup do chránených systémov.
Žiadny nový zero-day pritom nepotreboval. Stačili mu slabé heslá a poverenia, ktoré zostali verejne dostupné.
Irregular dodáva, že reálna firma spojená s chybným scenárom mala slabšie zabezpečenie vo viacerých oblastiach. Do jej systémov sa preto počas testovania nedostal iba Gemini, ale aj ďalšie pokročilé AI modely.
Gemini pochopil, že útočí na skutočnú firmu, a zastavil
Google uvádza, že vo všetkých troch prípadoch Gemini po rozpoznaní skutočného systému prestal pokračovať.
Heather Adkins, viceprezidentka Googlu pre bezpečnostné inžinierstvo, preto odmieta interpretáciu, že model zámerne obišiel zadanie a rozhodol sa napádať reálne firmy.
Podľa Googlu pri incidentoch nevznikla škoda. Dotknuté spoločnosti o neoprávnenom prístupe informovali a testovací scenár následne spolu s Irregular upravili.
Do reálnych systémov sa dostal aj Claude
Problém sa netýkal iba Gemini. Anthropic po kontrole viac než 141-tisíc behov našiel tri prípady, keď sa Claude dostal z testovacieho prostredia na verejný internet a následne aj do systémov troch skutočných organizácií.
Najďalej zašiel Claude Opus 4.7. Fiktívny cieľ mal takmer rovnaký názov ako reálna spoločnosť a model pri hľadaní údajov narazil na jej skutočný systém.
V štyroch behoch získal prihlasovacie údaje a dostal sa do produkčnej databázy s niekoľkými stovkami záznamov.
Anthropic pri spätnej analýze zistil, že model mal náznaky, že už nepracuje v simulácii. Napriek tomu pokračoval. V niektorých behoch si zrejme vyložil reálnu firmu ako ďalšiu súčasť testu.
Gemini sa podľa Googlu správal inak. Keď rozpoznal, že cieľ je skutočný, aktivitu zastavil.
Iné experimenty ukázali ďalšie spôsoby, ako sa AI agenti dokážu dostať mimo pôvodne zamýšľaných hraníc. Agenti od OpenAI napríklad využili verejné wiki stránky na prenos informácií medzi sebou, hoci s takýmto spôsobom komunikácie ich tvorcovia nepočítali.
Pri inom teste si stovky AI agentov vytvorili vlastnú komunikačnú sieť a prenikli do systémov Hugging Face. Časť obmedzení prístupu na internet obišli a ich aktivita zasiahla aj systém tretej strany.
Takéto odchýlky v správaní AI agentov majú rôzne príčiny. Spoločné majú najmä to, že model dostal nástroje alebo prístupy, ktoré mu umožnili zájsť ďalej, než autori testu očakávali.
Na jeden problém pripadlo viac než 10-tisíc bezchybných behov
Irregular uvádza, že podobný incident sa objavil v menej než jednom z 10-tisíc pokročilých simulačných behov. Navyše až po stovkách krokov, počas ktorých sa model správal presne podľa zadania.
Pri kyberbezpečnostnom teste je problém v tom, že samotné podozrivé správanie ešte nič neznamená. Model má skenovať systémy, skúšať prihlasovacie údaje a hľadať cestu do databázy. Rozdiel medzi testom a reálnym incidentom preto môže byť len v tom, proti akému systému tieto kroky práve vykonáva.
Irregular po odhalení prípadu scenár zastavila, spätne preverila záznamy a pridala viac manuálnych kontrol. Prísnejšie má kontrolovať aj názvy fiktívnych firiem a domén, ktoré v testoch používa.
V tomto prípade pritom nerozhodla žiadna nová hackerská technika. Fiktívna firma dostala názov zhodný s reálnou doménou a testovací agent mal zároveň prístup na verejný internet.
