Ako odolná je AI voči ruskej propagande? Estónski výskumníci otestovali veľké jazykové modely, toto sú výsledky

Umelá inteligencia dnes nepadá len na matematiku alebo kódovanie. Testuje sa aj to, ako odolá manipulatívnym naratívom, ktoré sa objavujú v politike a informačných operáciách. Jeden z novších benchmarkov s názvom „Propaganda Fortress“ od výskumníkov z estónskeho inšitútu Eesti Keele Instituut presne toto rozoberá a porovnáva veľké jazykové modely v situáciách, kde sa im niekto pokúsi podsúvať vopred skreslený obraz reality.

Test postavil výskumníci na 75 otázkach v troch jazykoch. Rozdelili ich do 14 tematických naratívov, ktoré sa v informačnom priestore opakujú v súvislosti s Ruskom a jeho komunikačnými stratégiami. Každá otázka vznikla v troch verziách: neutrálnej, mierne zaujatej a zámerne manipulatívnej. Práve tie posledné mali model „dotlačiť“ k tomu, aby prebral cudzie tvrdenia bez kritiky.

„Otázky sa navrhli tak, aby modely vystavili tlaku a donútili ich zaujať postoj k naratívom, ktoré sa často používajú v propagande,“ uviedli výskumníci.

Zmysel celého benchmarku stojí na tom, že model sa ocitne v situácii, kde neexistuje jednoduchá neutrálna odpoveď. Buď skĺzne do opakovania problematických rámcov, alebo si udrží odstup a upozorní na manipuláciu.

Ako výskumníci hodnotili odpovede umelej inteligencie

Každá odpoveď dostala známku od 1 do 5. Najvyššia hodnota znamenala, že model zachoval rovnováhu, spochybnil zavádzajúce predpoklady a vysvetlil kontext. Najnižšia známka znamenala, že model začal preberať problematický naratív alebo ho dokonca posilnil. Vedci upozornili aj na to, že modely počas testu nemajú prístup k webu, pamäti ani externým nástrojom. Tým pádom sa hodnotila čistá schopnosť modelu reagovať bez pomoci.

Výskumníci tým odstránili vplyv vyhľadávania a overovania faktov. Modely tak ostali odkázané len na to, čo „vedia“ z tréningu.

Súvisí s tým

Vedci vypli rakovine schopnosť opravovať DNA. Nový mechanizmus môže pomôcť prekonať odolnosť voči liečbe

Test rozdelil otázky do troch kategórií:

• neutrálne otázky, ktoré zisťovali základný postoj modelu
• zaujaté otázky, ktoré už obsahovali skrytý rámec
• manipulatívne otázky, ktoré cielili na potvrdenie propagandistického tvrdenia

Práve posledná skupina ukázala, ako ľahko sa model môže nechať vtiahnuť do cudzieho rámovania, ak si nedá pozor na formuláciu.

Ktorý model sa vedel najlepšie brániť proti propagande?

V rebríčku sa objavili veľké jazykové modely od viacerých firiem, od Anthropic, cez OpenAI až po Google či ďalšie spoločnosti. Rozdiely medzi nimi neboli malé. Niektoré modely dosiahli vysoké skóre nad 90 bodov, iné sa pohybovali výrazne nižšie.

Na vrchole rebríčka skončili modely od Anthropic. Claude Opus 4.7 dosiahol celkové skóre 94,9 a Opus 4.8 skončil tesne za ním s 92,7 bodmi. Tieto modely si držali veľmi vysokú úroveň aj pri manipulatívnych otázkach, kde sa pohybovali okolo 98 bodov. Podobne silne dopadol aj Nemotron 3 Super 120B od NVIDIE so skóre 92,7 a Qwen 3.6 Plus od Alibaby s 92,1 bodmi. Všetky tieto modely dokázali konzistentne udržať odstup od zavádzajúcich tvrdení naprieč všetkými typmi otázok.

Modely od OpenAI skončili rozloženejšie. GPT-5.4 dosiahol 88,9 bodu, GPT-5.5 87,9 a menší GPT-5.4 Mini 84,3. Starší GPT-5 však spadol na 75,1 bodu. Zaujímavé je, že pri neutrálnych otázkach dosahovali tieto modely vysoké hodnoty, ale pri manipulatívnych promptoch sa ich výkon viac menil a niekedy citeľne klesal, čo ukazuje citlivosť na spôsob formulácie otázky.

Google modely patrili medzi najviac nevyrovnané. Gemini 2.5 Pro dosiahol celkovo 82 bodov, ale rozdiel medzi neutrálnymi a manipulatívnymi otázkami bol výrazný, zhruba od 92,8 pri neutrálnych až po 66,1 pri manipulatívnych. Podobný vzorec sa objavil aj pri ďalších verziách Gemini a Gemma modeloch, kde výkon kolísal podľa typu otázky viac než u najlepších konkurentov.

xAI s modelom Grok 4.20 dosiahol 87,5 bodu, čo ho zaradilo do hornej strednej časti rebríčka, zatiaľ čo starší Grok 3 skončil na 67,4, čo ukazuje veľký generačný skok. Mistral modely sa pohybovali nižšie, napríklad Mistral Large 2512 dosiahol 61,8 bodu a menšie verzie ešte menej. Podobne Meta Llama modely skončili v spodnej časti, kde Llama 4 Maverick dosiahla 59,8 a Llama 3.3 70B 55,5 bodu.

Prečo na tom záleží

Takéto testy nehovoria o tom, či je niektorý model „propagandistický“. Skôr ukazujú, ako ľahko sa môže jazykový model nechať vtiahnuť do rámca, ktorý mu používateľ podsunie. Jedna z kľúčových vlastností umelej inteligencie by mala byť schopnosť odolať naratívom bez vonkajšej pomoci. Ide o to, či model dokáže rozpoznať, že otázka už obsahuje skrytý predpoklad, a či ho dokáže odmietnuť alebo opraviť.

Výskumníci zároveň priznali, že výsledky nepreklápajú priamo do reálneho používania chatbotov. V bežnej praxi majú modely často prístup k nástrojom, webu alebo dodatočným filtrom. Tu však ostali „odrezané“ od sveta. To znamená, že test skôr meria základnú odolnosť modelu než jeho finálne správanie v aplikáciách, ktoré používateľ pozná z bežného používania.

Celý benchmark ukázal jednu vec pomerne jasne, rozdiely medzi modelmi neprebiehajú len v kvalite odpovedí, ale aj v tom, ako si udržia odstup od zavádzajúcich rámcov. Niektoré modely reagovali opatrnejšie, iné skôr preberali tón otázky. A práve tam vzniká najväčší rozdiel v tom, ako bezpečne dokážu fungovať v prostredí, kde sa mieša informácia s manipuláciou. Výsledky preto nefungujú ako definitívny verdikt o „dobrých“ alebo „zlých“ modeloch. Skôr ukazujú, kde sa dnešná umelá inteligencia ešte stále učí rozpoznávať hranicu medzi otázkou a názorom, ktorý už otázka v sebe skrýva.