Môže sa z AI stať Skynet, ktorý nás vyhubí? Vedci preverili tri scenáre a dva úplne nevylúčili

Jadrová vojna by podľa výskumníkov z RAND Corporation zrejme nestačila na úplné vyhubenie ľudstva. Pri biologickej hrozbe a zásahoch do klímy si už takí istí nie sú. Práve tieto tri možnosti preverovali pri otázke, čo by mohol spôsobiť mimoriadne schopný AI systém.

Analýzu teraz rozoberá aj Nature. RAND sa pritom nesnažil odhadnúť, či sa AI jedného dňa „vzbúri“ proti ľuďom. Pozrel sa na oveľa praktickejší problém: či by mohla využiť technológie, ktoré už dnes dokážu spôsobiť škody v globálnom rozsahu.
Výsledky sú pri každom scenári iné. Jadrové zbrane narazili na pomerne jasné limity. Pri biologických hrozbách a geoengineeringu však výskumníci nedokázali možnosť existenčnej katastrofy úplne uzavrieť.

Najhorší jadrový scenár by podľa RAND ľudstvo nevyhubil

RAND Corporation sa pri jadrovom scenári pozrel aj na úplne krajný prípad, teda rozsiahly konflikt s použitím veľkého počtu jadrových zbraní. Ani takýto útok by však podľa autorov pravdepodobne nestačil na to, aby z povrchu Zeme zmizol každý človek.

Výbuchy, radiácia a následné ochladenie planéty by mohli pripraviť o život obrovskú časť populácie a rozvrátiť fungovanie civilizácie. Časť ľudí by však s veľkou pravdepodobnosťou prežila, a preto RAND nepovažuje jadrovú vojnu za presvedčivý mechanizmus úplného vyhynutia ľudstva.

Pri biologických hrozbách a zásahoch do klímy už výskumníci k takému jednoznačnému záveru nedospeli.

Súvisí s tým

Blíži sa Skynet? Vedci skúmali, čo dokáže AI, keď dostane šancu sama sa replikovať. Výsledok pripomína začiatok nepríjemného sci-fi scenára

Biologický scenár už RAND úplne vylúčiť nedokázal

Pri biologických hrozbách je situácia komplikovanejšia. Výkonný model môže prehľadávať genetické údaje, porovnávať vlastnosti patogénov a navrhovať postupy, ktoré by človeku zabrali podstatne viac času.

Od odpovede AI k nebezpečnému patogénu je však stále ďaleko. Na jeho vytvorenie treba laboratórium, vhodné vybavenie, materiál a niekoho, kto jednotlivé kroky skutočne vykoná. Práve tieto praktické prekážky dnes výrazne obmedzujú, čo môže samotný model spôsobiť.

Ani po ich započítaní však RAND biologickú cestu k existenčnej katastrofe úplne nevylúčil.

Do úvahy navyše vstupuje rýchly vývoj AI agentov, ktoré dokážu pracovať s nástrojmi a vykonávať viac krokov bez priebežného zásahu človeka. Práve schopnosť spájať jednotlivé úlohy do dlhšieho postupu je dôvod, prečo sa bezpečnostný výskum čoraz viac pozerá aj na to, čo model dokáže urobiť mimo samotného chatu.

Ani pri zásahoch do klímy RAND nedokázal riziko úplne vylúčiť

Pri zásahoch do klímy sa RAND sústredil najmä na techniky, ktoré by dokázali meniť množstvo slnečného žiarenia dopadajúceho na Zem. Takýto zásah by mohol meniť teplotu planéty, rozloženie zrážok aj podmienky pre poľnohospodárstvo.

Tieto technológie sa dnes skúmajú ako možný spôsob, ako brzdiť otepľovanie. V nesprávnych rukách by však rovnaký nástroj mohol zasiahnuť celé regióny naraz.

Realizácia by zároveň nebola jednoduchá. Vyžadovala by veľké množstvo materiálu, techniky a koordinácie, takže by nešlo o niečo, čo by AI dokázala potichu spustiť z jedného počítača.

Napriek týmto prekážkam RAND ani pri geoengineeringu nedokázal scenár existenčnej katastrofy úplne vylúčiť.

Test mal zostať izolovaný. Claude sa však dostal k reálnym systémom

Anthropic nedávno opísal štyri prípady, pri ktorých sa jeho modely Claude počas kybernetických testov dostali k reálnym systémom tretích strán. Testovacie prostredie pritom malo byť oddelené od skutočného internetu.

Podľa Anthropic za tým nebolo vedomé „uniknutie“ modelu, ale chyba v nastavení prostredia. Claude dostal úlohu a pokračoval v jej plnení aj tam, kam sa podľa pôvodného návrhu dostať nemal.

Firma po incidentoch preverila približne 481 miliónov záznamov interakcií. Hľadala ďalšie prípady podobnej alebo vyššej závažnosti, no podľa vlastných zistení ich nenašla.

Práve na tomto príklade je vidieť rozdiel medzi filmovou predstavou vzbúrenej AI a problémom, ktorý riešia bezpečnostné tímy dnes. Claude si nevytvoril vlastný cieľ ani plán útoku. Využil prístup, ktorý mal omylom k dispozícii, a pokračoval v zadanej úlohe.

Podobné schopnosti už skúšajú zneužiť aj útočníci. AI sa používa na hľadanie zraniteľností a automatizovanie častí kybernetických útokov. Objavili sa aj experimentálne škodlivé programy, pri ktorých AI priebežne vyhodnocuje napadnutý systém a podľa situácie volí ďalší krok.

Vyhynutie ľudstva nie je podľa RAND pravdepodobný výsledok

Najzaujímavejším výsledkom RAND tak nie je potvrdenie scenára, v ktorom AI vyhubí ľudstvo. Výskumníci takýto záver neurobili. Ukázali však, kde dnes podobné scenáre narážajú na svoje limity a to najmä na prístup k laboratóriám, infraštruktúre a ďalším systémom mimo samotného počítača.

Práve tieto podmienky sa však môžu postupne meniť. Automatizované laboratóriá, robotika a AI agenti už dnes posúvajú hranicu toho, čo dokáže softvér vykonať bez priameho zásahu človeka. Ak sa tento vývoj zrýchli, dnešné závery RAND bude možno o niekoľko rokov potrebné prehodnotiť s úplne inými predpokladmi.