AI od OpenAI mala hľadať zdravotnícke štatistiky. Namiesto toho prenikla do vládneho systému
Umelá inteligencia od OpenAI mala hľadať zdravotnícke štatistiky, no prenikla do austrálskeho vládneho systému. Dostala sa aj k neverejným súborom.
Umelá inteligencia dostáva čoraz viac slobody pri plnení úloh. Namiesto obyčajného odpovedania na otázky dokážu takzvaní AI agenti vyhľadávať informácie, pracovať s webom, používať nástroje a vykonať sériu krokov bez toho, aby človek schvaľoval každý jeden z nich. Práve táto vlastnosť teraz spôsobila vážny bezpečnostný problém v Austrálii, informuje CNN.
Austrálsky premiér Anthony Albanese oznámil, že AI agent od OpenAI prenikol do systému austrálskeho Medicare, ktorý obsahuje štatistické údaje súvisiace so zdravotníctvom. Podľa jeho slov agent získal prístup k verejným aj neverejným súborom a dokonca do systému zapísal vlastné súbory.
Austrálska vláda prípad označila za prvý známy útok, pri ktorom AI prenikla do vládnej siete. Zároveň však dostupné informácie naznačujú, že samotný rozsah získaných údajov zostal obmedzený.
AI chcela nájsť odpoveď, no zašla ďalej
Celý incident vznikol počas interného hodnotenia modelov OpenAI. AI agent dostal úlohu vyhľadať odpovede a štatistiky týkajúce sa Austrálie a zdravotníckych výdavkov. Pri hľadaní potrebných informácií však narazil na obmedzenia. Namiesto toho, aby sa zastavil pri nedostupných údajoch, podnikol ďalšie kroky a podľa austrálskej vlády obišiel blokácie, ktoré mu mali zabrániť v prístupe k určitým častiam systému. Práve toto predstavuje podstatný rozdiel oproti bežnému chatbotu.
Ak sa chatbot stretne s webovou stránkou, ku ktorej nemá prístup, väčšinou ti jednoducho oznámi, že potrebné informácie nenašiel. AI agent však môže dostať možnosť samostatne skúsiť inú cestu. A ak nemá dostatočne presne nastavené hranice, môže si vyhodnotiť, že obídenie prekážky predstavuje ďalší krok potrebný na splnenie zadania.
Neprehliadni
OpenAI incident neskôr potvrdila. Hovorca spoločnosti Drew Pusateri uviedol, že k udalosti došlo už v júni, no firma sa o nej dozvedela až v auguste počas rozsiahlejšej kontroly aktivity svojich modelov.
„Naše modely podnikli kroky, ktoré sme nezamýšľali,“ uviedol Pusateri.
K osobným zdravotným údajom sa podľa OpenAI nedostala
Tu prichádza dôležité upresnenie. Hoci AI agent prenikol do časti systému, OpenAI uviedla, že nenašla dôkazy o prístupe k zdravotným záznamom jednotlivých pacientov. Podľa spoločnosti sa medzi získanými informáciami nachádzali najmä agregované zdravotné štatistiky a interné názvy súborov.
Austrálsky minister obrany Richard Marles preto uviedol, že samotný dopad incidentu zostal relatívne malý. Zároveň však vláda spustila vyšetrovanie, ktoré má objasniť rozsah udalosti. Austrálske úrady navyše preverujú ďalšie tri systémy, ktoré mohli prísť s podobnou aktivitou do kontaktu. Ide o web Austrálskeho inštitútu zdravotníctva a sociálnych služieb, úrad pre štatistiky kriminality v Novom Južnom Walese a ministerstvo zdravotníctva štátu Viktória. Nie je však potvrdené, že by pri nich došlo k úspešnému narušeniu.
Ešte zaujímavejšie pôsobí zistenie výskumného laboratória Transluce. To v rovnaký deň upozornilo na viacero prípadov, pri ktorých AI agenti podnikli kroky pripomínajúce kybernetické útoky. Niektoré z týchto udalostí sa mali odohrať už v marci, teda ešte pred verejne známymi prípadmi útokov AI agentov. V jednom prípade sa agent pokúšal získať fotografiu zo zbierky University of New Mexico. Keď sa mu ju nepodarilo nájsť bežným spôsobom, odoslal veľké množstvo požiadaviek na server. Úspech však nedosiahol.
V ďalšom prípade agent hľadal vizualizačné údaje súvisiace s University of Iowa na platforme Data USA.
Zaujímavý bol aj júnový prípad austrálskeho inštitútu AIHW. Agent sa pri získavaní štatistických údajov pokúsil zneužiť bezpečnostnú chybu a zároveň obišiel ochranu proti automatizovaným požiadavkám. K neverejným údajom sa podľa dostupných informácií nedostal. OpenAI už tieto prípady preveruje.
Problém nespočíva iba v samotnom útoku
Práve tu sa dostávame k širšiemu problému AI agentov. Ich najväčšia výhoda môže zároveň predstavovať bezpečnostné riziko. Klasický chatbot čaká na tvoju otázku a následne vytvorí odpoveď. Agent môže dostať cieľ a následne sám vyhľadať potrebné informácie, otvoriť stránky, použiť nástroje alebo vykonať viacero krokov. Čím viac právomocí taký systém dostane, tým väčší priestor vznikne aj na nepredvídané správanie.
Walayat Hussain, docent informačných technológií na Australian Catholic University, preto upozornil, že dnešné AI systémy síce dokážu veľmi dobre plniť úlohy, no hranice ich povoleného konania nemusia vždy správne vyhodnotiť.
„Nemôžeme sa spoliehať na to, že AI agenti budú kontrolovať sami seba, ani nemôžeme od spoločností, ktoré ich vytvárajú, žiadať, aby samy hodnotili vlastnú prácu,“ povedal Hussain.
Podľa odborníka navyše mnohé vládne systémy vznikli v čase, keď nikto nerátal s agentmi schopnými samostatne vykonávať veľké množstvo krokov.
OpenAI čelí aj otázke, prečo incident oznámila neskoro
Austrálska vláda nerieši iba samotný prístup AI k systému. Otázku vyvolal aj spôsob, akým sa o incidente dozvedeli úrady.
OpenAI uviedla, že austrálsku vládu informovala 10. septembra. Oznámenie však podľa Albaneseho putovalo do všeobecnej verejnej e-mailovej schránky. Príslušný minister sa preto o udalosti dozvedel až o päť dní neskôr.
Austrálsky premiér následne telefonoval so šéfom OpenAI Samom Altmanom.
„Spoločnosti trvalo príliš dlho, kým informovala vládu o tom, čo sa stalo, a neprijateľný bol aj spôsob, akým to oznámila,“ povedal Albanese.
Prípad tak otvoril viacero otázok naraz. Samotný incident podľa doterajších informácií nespôsobil únik zdravotných záznamov pacientov, no ukázal, že AI agent sa môže pri plnení zadania dostať za hranice, ktoré mu človek pôvodne nastavil.
A práve s tým budú musieť bezpečnostné tímy počítať čoraz viac. AI agent totiž nemusí predstavovať problém preto, že dostane priamo príkaz na útok. Stačiť môže aj nevhodne nastavený cieľ, priveľké oprávnenia a schopnosť hľadať vlastnú cestu k výsledku.
