WhatsApp, Slack aj obyčajná SMS mohli zneužiť Gemini v Androide. Stačila notifikácia a AI asistent poslúchol cudzie pokyny
Gemini sa dal oklamať obyčajnou správou vo WhatsAppe či inej aplikácii. Útočníkovi stačila notifikácia, aby AI asistent robil veci, o ktorých používateľ netušil.
Umelá inteligencia dnes zasahuje do čoraz väčšieho počtu zariadení. Asistenti ako Gemini od Googlu už dávno neslúžia len na odpovedanie otázok. Dokážu ovládať inteligentnú domácnosť, spúšťať aplikácie, pracovať s kalendárom či pamätať si informácie o používateľovi. Práve preto rastie aj záujem bezpečnostných výskumníkov o to, čo všetko sa dá s takýmito systémami zneužiť.
Výskumníci zo spoločnosti SafeBreach Labs teraz upozornili na novú zraniteľnosť, ktorá útočníkom umožnila manipulovať s Gemini prostredníctvom obyčajných notifikácií z komunikačných aplikácií. Stačila správa vo WhatsAppe, Signale, Messengeri, Slacku alebo dokonca klasická SMS.
Útok prišiel cez notifikácie
Výskumníci zistili, že Gemini spracoval obsah notifikácií ako súčasť konverzačného kontextu. Ak útočník do správy vložil špeciálne pripravené inštrukcie, dokázal nimi ovplyvniť správanie asistenta bez toho, aby si to používateľ všimol.
Útočná plocha sa pritom ukázala ako mimoriadne rozsiahla. Prakticky každá aplikácia schopná poslať notifikáciu mohla poslúžiť ako vstupná brána pre škodlivý obsah.
„Ak útočník dokáže vyvolať notifikáciu na vzdialenom zariadení, môže doručiť škodlivý obsah prostredníctvom WhatsAppu, Slacku, Signalu, SMS, Instagramu alebo Messengeru,“ vysvetlil vedúci výskumného tímu Or Yair.
Najprv sa útočníkom podarilo meniť odpovede Gemini. Asistent napríklad mohol používateľovi oznámiť falošnú systémovú správu alebo ho naviesť na podvodný odkaz. Tým sa však možnosti útoku neskončili.
Neprehliadni
Gemini predstieral správy od dôveryhodných ľudí
Jedna z najzaujímavejších častí výskumu ukázala, že Gemini mohol predstierať komunikáciu od skutočných kontaktov. Ak útočník poznal meno nadriadeného, kolegu alebo rodinného príslušníka, dokázal asistenta prinútiť, aby používateľovi oznámil neexistujúcu správu v ich mene. V hlasovej podobe mohla takáto manipulácia pôsobiť veľmi presvedčivo, najmä keď človek práve šoféroval alebo nemal telefón v ruke.
Výskumníci navyše objavili spôsob, ako útok uskutočniť aj bez znalosti konkrétnych kontaktov. Gemini jednoducho prevzal meno z reálnej notifikácie a priradil k nemu podvrhnutý obsah.
Takýto postup otvoril cestu k rozsiahlym phishingovým kampaniam zameraným na veľké množstvo používateľov.
Google útoky zablokoval, no výskumníci našli obchádzku
Google po predchádzajúcich bezpečnostných zisteniach zaviedol viacero ochranných mechanizmov. Tie mali zabrániť tomu, aby škodlivé inštrukcie dokázali spúšťať ďalšie nástroje alebo ovládať externé služby. Výskumníci však objavili novú techniku, ktorú pomenovali „Fake Context Alignment“.
Princíp bol pomerne jednoduchý. Bezpečnostné kontroly Gemini sa snažili overiť, či používateľ naozaj súhlasil s vykonaním určitej akcie. Výskumníci preto vytvorili situáciu, v ktorej systém videl súhlas používateľa, no samotný používateľ netušil, s čím vlastne súhlasil.
V jednom prípade Gemini položil otázku v čínštine, ktorá znamenala „Chceš otvoriť okno?“. Hneď za ňou nasledovala nevinná anglická veta typu „Potreboval si ešte niečo?“.
Používateľ odpovedal „áno“, pretože reagoval na druhú otázku. Gemini však jeho odpoveď priradil k tej prvej.
„Potreboval som oklamať systém tak, aby veril, že používateľ schválil vykonanie akcie, pričom používateľ o tom vôbec nevedel,“ uviedol Or Yair.
V ďalšej verzii útoku výskumníci ukryli škodlivú otázku do odkazu, ktorý hlasový asistent vôbec neprečítal. Používateľ tak počul len neškodnú otázku, no bezpečnostný mechanizmus pracoval s úplne iným obsahom.
Po úspešnom obídení ochranných mechanizmov sa otvorili oveľa vážnejšie možnosti. Výskumníci predviedli ovládanie prvkov inteligentnej domácnosti vrátane okien, svetiel či ďalších zariadení napojených na Google Home. Následne sa zamerali aj na iné aplikácie.
Gemini dokázal otvoriť webové adresy. Výskumný tím preto využil dôveryhodnú doménu, ktorá používateľa presmerovala do aplikácie Zoom. Výsledkom bolo automatické pripojenie do videohovoru bez ďalšieho zásahu používateľa.
Takýto scenár mohol útočníkom umožniť napríklad zistiť IP adresu obete, sťahovať súbory alebo spúšťať ďalšie aplikácie. Najzaujímavejšie zistenie sa týkalo funkcií, ktoré mali pretrvať aj po skončení konverzácie.
Výskumníci dokázali Gemini presvedčiť, aby si zapamätal nepravdivé informácie o používateľovi. V jednom experimente asistent uložil do svojej pamäte, že používateľ sa volá Danny. Podobným spôsobom vytvoril aj opakované úlohy. Gemini napríklad nastavil pravidelnú akciu, ktorá mala každý večer pracovať so správami používateľa.
Keďže dlhodobá pamäť Gemini funguje naprieč viacerými zariadeniami v rámci jedného Google účtu, dôsledky takéhoto útoku mohli zasiahnuť smartfón, tablet aj počítač súčasne.
Google tvrdí, že sa mu podarilo túto chybu opraviť
SafeBreach Labs nahlásil zistenia Googlu v auguste 2025. Spoločnosť následne pripravila úpravy ochranných mechanizmov a podľa vyjadrenia výskumníkov zaviedla nové klasifikátory obsahu, ktoré opísané útoky zablokovali.
Prípad však opäť ukázal, že moderní AI asistenti už nepredstavujú len chatbota odpovedajúceho na otázky. Čím viac funkcií získajú a čím hlbšie preniknú do zariadení používateľov, tým atraktívnejším cieľom sa stanú pre bezpečnostných výskumníkov aj útočníkov. A práve spôsob, akým umelá inteligencia vyhodnotí dôveru, kontext a súhlas používateľa, patrí medzi oblasti, ktoré budú vývojári riešiť ešte veľmi dlho.
