Američania takmer rozpútali vojnu s Čínou. Stačila na to jedna chybná informácia od AI
Americká armáda takmer zasiahla proti čínskej lodi po tom, čo analytik použil nesprávny výstup umelej inteligencie v spravodajskej správe.
Americká armáda sa na jar tohto roka dostala do situácie, ktorá ukázala jeden z menej nápadných, no veľmi vážnych problémov spojených s používaním umelej inteligencie vo vojne. Spravodajská správa totiž tvrdila, že čínska loď v oblasti Blízkeho východu preváža súčiastky určené pre program jadrových zbraní.
Informácia vyvolala okamžitú reakciu. Americká armáda pripravila plán na zachytenie plavidla a podľa zdrojov CNN sa na jeho palubu mali dostať ozbrojení vojaci. Vo vzduchu sa zároveň nachádzali vojenské lietadlá. Až krátko pred plánovanou operáciou však predstavitelia zistili, že kľúčová informácia v správe pochádzala z chatbotu a nebola správna.
AI vytvorila nesprávny obraz o náklade lode
Podľa štyroch zdrojov oboznámených s prípadom pripravil spravodajskú správu analytik zo špeciálnych operácií. Pri jej tvorbe použil AI nástroj, ktorému zadal údaje týkajúce sa nákladu čínskej lode. Chatbot následne spojil dostupné informácie z otvorených zdrojov s utajovanými spravodajskými údajmi a dospel k nesprávnemu záveru o tom, čo loď preváža. CNN nezistila, aký náklad systém nesprávne identifikoval. Podstatné však bolo, že analytik následne použil AI ešte raz. Tentoraz mu pomohla vytvoriť samotnú spravodajskú správu v štandardizovanom formáte.
Takto vzniknutý dokument následne putoval ďalej a dostal sa k ľuďom, ktorí mu dôverovali. Jeden zo zdrojov ho označil za „úplne nepravdivý“. Zároveň upozornil, že situácia „takmer začala vojnu“.
Chyba mohla mať vážne následky
Tento prípad bol citlivý preto, lebo nešlo o bežnú chybu v dokumente. Ak by americké jednotky zasiahli proti čínskej lodi, situácia sa mohla veľmi rýchlo skomplikovať. USA a Čína patria medzi hlavné vojenské a geopolitické mocnosti sveta a ozbrojený incident medzi nimi by mohol mať oveľa širšie následky.
Neprehliadni
Prípad preto ukazuje problém, ktorý sa odlišuje od často diskutovaných obáv zo superinteligentnej AI alebo zo systémov, ktoré by sa vymkli kontrole. Tu totiž nešlo o to, že by AI sama začala konať, rozhodovali ľudia. Problém vznikol v momente, keď človek dôveroval nesprávnemu výstupu AI a následne ho použil v spravodajskom procese.
Americká armáda chce AI používať čoraz viac
Incident prichádza v čase, keď americké ozbrojené sily výrazne rozširujú používanie umelej inteligencie. AI má pomôcť pri analýze obrovského množstva spravodajských údajov, výbere cieľov, presune vojenskej techniky, logistike či plánovaní. Výhodou má byť najmä rýchlosť. Počítač dokáže spracovať množstvo informácií podstatne rýchlejšie než človek. Americké vedenie zároveň nechce zaostávať za Čínou. Ak by protivník dokázal využívať AI rýchlejšie a efektívnejšie, USA by podľa predstaviteľov mohli v prípadnom budúcom konflikte získať nevýhodu.
Minister obrany Pete Hegseth preto v januári predstavil stratégiu na urýchlenie zavádzania AI do americkej armády.
„Uvoľníme priestor na experimentovanie, odstránime byrokratické prekážky, sústredíme investície a ukážeme spôsob, ako zabezpečiť vedúce postavenie v oblasti vojenskej AI,“ uviedol Hegseth pri predstavení stratégie.
Dokument počíta so sprístupnením AI nástrojov približne trom miliónom civilných a vojenských pracovníkov rezortu.
Každá časť armády môže používať inú AI
Podľa viacerých amerických predstaviteľov nemá armáda jeden jednotný systém. Rôzne časti ozbrojených síl a spravodajských služieb používajú rôzne AI nástroje, pravidlá a bezpečnostné štandardy. Neexistuje preto jednotný postup, ktorý by určoval, ako musí armáda overiť informácie získané od AI pred ich použitím.
Aj samotná kvalita jednotlivých systémov sa môže výrazne líšiť. Jeden nástroj môže mať iné schopnosti a obmedzenia než systém používaný inou časťou vlády. To je pri bežnej kancelárskej práci nepríjemnosť. Pri vojenskom rozhodovaní však môže mať chyba úplne inú váhu.
AI halucinácie nie sú nič nové
Problém, ktorý sa objavil pri čínskej lodi, súvisí s takzvanými AI halucináciami. Chatbot pri nich vytvorí informáciu, ktorá znie presvedčivo, no nemá oporu v skutočnosti. AI pritom nemusí používateľa upozorniť, že si výsledok jednoducho „vymyslela“. Odpoveď môže pôsobiť odborne, logicky a sebavedomo. Podľa jedného zo zdrojov CNN sa podobné prípady objavili v americkej spravodajskej komunite už viackrát.
Problém navyše nespočíva iba v samotnej technológii. Niektorí analytici podľa zdrojov upozorňujú, že AI vytvára tlak na rýchlejšie spracovanie a šírenie spravodajských informácií. Mladší analytici, ktorí s týmito nástrojmi vyrastali, môžu mať zároveň väčšiu tendenciu dôverovať ich výstupom bez dostatočného overenia.
„AI vám umožní dostať sa k zlému nápadu rýchlejšie,“ uviedol trefne jeden zo zdrojov.
Najväčšie riziko nemusí byť samotná AI
Prípad čínskej lode tak ukazuje trochu inú stránku vojenského využitia umelej inteligencie. Debata sa často sústreďuje na otázku, či sa AI jedného dňa nevymkne ľudskej kontrole. Oveľa bezprostrednejší problém môže predstavovať obyčajná ľudská chyba pri používaní systému, ktorý poskytne nesprávne informácie. Ak AI spracuje nesprávne údaje, analytik jej dôveruje a výsledok následne prejde do oficiálneho spravodajského dokumentu, chyba môže postupovať ďalej cez celý rozhodovací reťazec.
V tomto prípade sa podľa zdrojov podarilo problém odhaliť ešte pred uskutočnením plánovanej operácie. Incident však zároveň ukázal, akú pozornosť si vyžaduje používanie AI pri rozhodnutiach, pri ktorých môže mať nesprávna informácia oveľa väčšie následky než pri bežnej práci s chatbotom.
