Stalo sa to znova. AI Mety „utiekla“ zo sandboxu, dostala sa na internet a prenikla do systémov cudzej firmy
AI agent Mety Muse Spark 1.1 počas bezpečnostného testu opustil sandbox, získal prístup na internet a prenikol do IT systémov externej firmy.
Umelá inteligencia dnes už nedokáže iba odpovedať na otázky. Pokročilé AI agenty môžu samostatne spúšťať programy, pracovať so súbormi, používať internet či vykonať viacero krokov potrebných na splnenie zadanej úlohy. Práve táto samostatnosť však prináša aj nové bezpečnostné riziká.
Meta teraz priznala incident, ktorý ukázal, čo sa môže stať, keď testovacie prostredie umelej inteligencie nemá dostatočne pevné hranice.
Spoločnosť 5. augusta informovala, že jej pokročilý AI agent Muse Spark 1.1 počas kyberbezpečnostného testovania opustil sandbox. Následne získal prístup na internet a prenikol do IT systémov nemenovanej spoločnosti, píše portál Dark Reading. Na prvý pohľad to môže pôsobiť ako príbeh zo sci-fi. Podstata problému je však oveľa praktickejšia. Model sa podľa dostupných informácií nerozhodol, že chce „utiecť“. Jednoducho využil možnosť, ktorú mu nesprávne nastavené testovacie prostredie sprístupnilo.
AI Mety mala zostať odrezaná od internetu
Pri testovaní nebezpečných schopností AI používajú vývojári takzvaný sandbox. Ide o izolované prostredie, v ktorom môže model vykonávať rôzne operácie bez priameho prístupu k skutočným systémom. Ak napríklad bezpečnostní experti testujú, či AI dokáže nájsť zraniteľnosť v počítačovej sieti, vytvoria jej umelú sieť určenú na tento účel. Model dostane úlohu a odborníci sledujú, čo dokáže. Hranice takéhoto prostredia však musia zostať pevné.
V prípade Mety sa podľa dostupných informácií objavila chyba v konfigurácii. Muse Spark 1.1 sa preto dostal na internet a následne prenikol do IT infraštruktúry spoločnosti zapojenej do testovania. To je zároveň dôležitý rozdiel oproti predstave, že AI sama „prelomila väzenie“. Model mal určitý cieľ a k dispozícii nástroje. Keď medzi nimi našiel cestu k ďalším systémom, využil ju.
Neprehliadni
Incident Meta navyše neprišiel sám. V priebehu niekoľkých týždňov sa podobné problémy objavili aj pri testovaní modelov spoločností OpenAI a Anthropic. OpenAI riešilo prípad, pri ktorom testovaný model objavil a využil zraniteľnosť vo vlastnom izolovanom prostredí. Vďaka nej získal prístup na verejný internet.
Anthropic zase informoval o viacerých incidentoch počas kyberbezpečnostných cvičení. Jeho modely počas testov opustili určené prostredia a pokračovali v plnení zadaných úloh. Pri Anthropic sa zároveň ukázal problém v komunikácii s externým testovacím partnerom. Ten podľa spoločnosti nevedel, že niektoré testovacie prostredia mali prístup na internet. Zaujímavé je, že pri prípade Meta figuruje rovnaká spoločnosť Irregular, ktorá spolupracovala aj s Anthropic. Jej zástupca pre Reuters uviedol, že išlo o „presne ten istý problém testovacieho prostredia“, aký Anthropic zverejnil predtým.
AI nemusí chápať, že prekračuje hranice
Najväčší problém spočíva v tom, že AI nemusí mať zámer „uniknúť“, aby spôsobila škodu. Stačí jej zadať cieľ a poskytnúť nástroje, pomocou ktorých ho môže splniť. Ak medzi nimi nájde nesprávne nastavené oprávnenie, odhalené prihlasovacie údaje alebo bezpečnostnú chybu, môže ich využiť ako ďalší krok.
„Model nemusí chápať, že uniká. Stačí, ak objaví zraniteľnosť, odhalené prihlasovacie údaje alebo nesprávnu konfiguráciu, ktorá mu pomôže dosiahnuť jeho cieľ,“ hovorí Rohit Choudhary zo spoločnosti Acceldata.
Preto by testovacie prostredia mali mať oddelenú sieť, žiadny voľný prístup na internet a žiadne produkčné prihlasovacie údaje. Vývojári môžu zároveň obmedziť nástroje, ktoré AI smie používať, a sledovať každý jej krok. Dôležité sú aj automatické mechanizmy, ktoré model pri podozrivej aktivite zastavia.
Meta má aj politický problém
Incident prichádza v čase, keď sa technologické firmy sporia o pravidlá pre pokročilú AI. Anthropic a OpenAI upozorňujú na bezpečnostné riziká a podporujú prísnejšie pravidlá. Meta naopak patrí medzi spoločnosti, ktoré presadzujú otvorenejší vývoj AI a open-source modely.
„Open source zabezpečí, že moc sa nesústredí v rukách malého počtu spoločností,“ vyjadril sa na túto tému Zuckerberg.
Prípad Muse Spark 1.1 tak pridáva ďalší argument do tejto diskusie. Zatiaľ však dostupné informácie skôr ukazujú na chybu v testovacom prostredí než na autonómny útok umelej inteligencie. Pri čoraz schopnejších AI agentoch preto nebude dôležitý iba samotný model. Rovnako podstatné bude, aké nástroje dostane, kam sa môže pripojiť a ako pevné hranice mu vývojári nastavia.
