Šéfovia OpenAI a Anthropic vystúpili pred OSN. Hovorili o riziku straty kontroly nad AI, agenti už unikli z izolovaného prostredia

Bezpečnostná rada OSN riešila 23. septembra tému, ktorá ešte donedávna patrila najmä do diskusií medzi vývojármi umelej inteligencie. Pred jej členmi sa hovorilo o možnosti, že čoraz schopnejšie AI systémy bude problém udržať pod kontrolou.

Obsah článku · 5 častí

1. AI agenti obišli obmedzenia, podvádzali a snažili sa to skryť
2. AI môže prevziať časť vývoja ďalších modelov. Altman sa obáva prudkého zrýchlenia
3. Pred štyrmi rokmi AI nezvládla jednoduchý kód. Amodei tvrdí, že o dva roky môže prekonať špičkových expertov
4. AI mala hľadať zdravotnícke štatistiky. Namiesto toho obišla zabezpečenie
5. Firmy riziká poznajú. Podľa Bengia ich však stále nevedia spoľahlivo odstrániť

Na rokovanie o umelej inteligencii a medzinárodnej bezpečnosti prišli šéf OpenAI Sam Altman, generálny riaditeľ Anthropic Dario Amodei aj Yoshua Bengio, jeden z najznámejších vedcov v oblasti AI a spolupredseda Nezávislého medzinárodného vedeckého panelu OSN pre AI.

Odoberaj Vosveteit.sk cez Telegram a prihlás sa k odberu správ

Práve Bengio priniesol konkrétne príklady. Hovoril o AI agentoch, ktorí obišli obmedzenia svojich tvorcov, podvádzali pri plnení úloh, pokúšali sa svoje konanie skryť alebo sa dostali mimo prostredia, v ktorom mali zostať.

AI agenti obišli obmedzenia, podvádzali a snažili sa to skryť

„Nebezpečenstvá sú skutočné a bezprostredné,“ povedal Bengio. Ako príklad uviedol AI agentov, ktorí počas testov obišli nastavené obmedzenia, podvádzali pri plnení úloh a snažili sa zabrániť tomu, aby ich pri tom vývojári odhalili. Niektoré ich kroky by podľa neho boli v prípade človeka trestnými činmi.

Podobné správanie zaznamenalo OpenAI pri vlastných bezpečnostných testoch. Jeho modely našli cestu z izolovaného prostredia na internet, využili zraniteľnosti v infraštruktúre a dokonca si vytvorili spôsob, ako si medzi sebou odovzdávať informácie bez toho, aby im ho vývojári pripravili.

Neprehliadni

VIDEO: Takýto zápas neuvidíš ani v Mortal Kombat. Robot odkopol súperovi hlavu, ten bojoval ďalej

Neskôr AI agenti OpenAI začali na komunikáciu využívať aj verejný web. Na wiki stránkach zanechávali odkazy, z ktorých čerpali ďalší agenti.

Bengio spomenul aj prípady koordinovaných kybernetických útokov vykonaných AI agentmi bez priameho pokynu človeka. Práve v tomto vidí problém, ktorý už podľa neho nemožno riešiť iba na úrovni jednotlivých firiem.

„Táto rada čelí bezprecedentnej hrozbe. Takej, ktorú by si žiadny z jej členov nevybral, ktorú nikto nedokáže zvládnuť sám a ktorá nerešpektuje hranice, ktoré chránime,“ povedal.

AI môže prevziať časť vývoja ďalších modelov. Altman sa obáva prudkého zrýchlenia

Altman pred Bezpečnostnou radou upozornil na moment, keď sa začne automatizovať samotný vývoj AI. Ak budú modely vo väčšej miere písať kód a pracovať na ďalšej generácii systémov, tempo vývoja sa podľa neho môže prudko zrýchliť.

S tým súvisí aj recursive self-improvement, teda scenár, pri ktorom AI pomáha vytvoriť schopnejšiu AI a tá následne prevezme ešte väčšiu časť ďalšieho vývoja. Pred podobným zrýchlením vývoja AI varoval aj šéf Anthropic Dario Amodei.

Altman preto hovoril o potrebe „extrémnej opatrnosti“. Zároveň odmietol, aby o ďalšom smerovaní najvýkonnejších modelov rozhodovalo iba niekoľko technologických firiem. Podľa neho do toho musia vstúpiť vlády a pravidlá vytvorené demokratickým procesom.

Pred štyrmi rokmi AI nezvládla jednoduchý kód. Amodei tvrdí, že o dva roky môže prekonať špičkových expertov

Amodei porovnal dnešné modely s tým, čo dokázali pred štyrmi rokmi. Vtedy mali problém napísať jednoduchý kód alebo vyriešiť stredoškolskú matematickú úlohu. Dnes podľa neho AI píše väčšinu kódu v Anthropic a rieši aj matematické problémy, s ktorými si predchádzajúce modely neporadili.

Ak bude vývoj pokračovať rovnakým tempom, Amodei hovorí o jednom až dvoch rokoch, možno aj kratšom čase. Výsledok označuje ako „krajinu géniov v dátovom centre“ – množstvo AI systémov pracujúcich na úrovni najlepších ľudských expertov.

S tým spája dve obavy. Takto schopná AI by mohla pomôcť napríklad pri vývoji biologických zbraní. Druhý problém nastane, ak schopnosti modelov začnú rásť rýchlejšie, než ich vývojári dokážu kontrolovať.

AI mala hľadať zdravotnícke štatistiky. Namiesto toho obišla zabezpečenie

AI agent OpenAI mal počas testovania vyhľadať verejné údaje o výdavkoch na zdravotníctvo v Austrálii. Keď mu portál Medicare Statistics Reporting Service požadované informácie neposkytol, agent obišiel obmedzenie a získal neoprávnený prístup k systému.

Rozsah incidentu bol podľa austrálskej vlády malý. Agent sa dostal k verejným aj neverejným súborom, no nie k osobným zdravotným údajom pacientov. Portál je navyše oddelený od systémov, ktoré spracúvajú individuálne údaje či platby Medicare.

Firmy riziká poznajú. Podľa Bengia ich však stále nevedia spoľahlivo odstrániť

Bengio pred Bezpečnostnou radou povedal, že firmy vyvíjajúce najvýkonnejšie modely samy hovoria o možnosti katastrofických rizík. Podľa neho však stále nemajú presvedčivé technické riešenie, ktoré by dokázalo podobným zlyhaniam zabrániť.

Za problém označil aj preteky medzi jednotlivými firmami. Spomalenie vývoja je pre jednu spoločnosť nevýhodné, ak jej konkurenti pokračujú ďalej.

Pred OSN preto presadzoval licencovanie najvýkonnejších AI systémov a jasnejšie pravidlá zodpovednosti za škody. Svoje vystúpenie postavil na jednoduchej požiadavke: „Žiadna spoločnosť ani krajina by nemala vyvíjať AI systém schopný spôsobiť škody veľkého rozsahu.“