Zabije nás umelá inteligencia v priebehu najbližších desiatich rokov? Výskumník z Anthropicu varuje pred stratou kontroly nad AI
Výskumník Jacob Coxon odišiel z Anthropicu pre obavy z vývoja AI, ktorá by sa mohla sama zlepšovať a postupne uniknúť ľudskej kontrole.
Vývoj umelej inteligencie naberá tempo a spolu s novými schopnosťami rastú aj obavy niektorých ľudí priamo z technologických laboratórií. Najnovším príkladom je Jacob Coxon, 27-ročný britský výskumník, ktorý sa rozhodol odísť zo spoločnosti Anthropic. Coxon sa špecializuje na tréning nových AI modelov. Jeho práca zahŕňa postupy, pri ktorých modely spracujú obrovské množstvo dát, aby získali nové schopnosti. Práve ďalší krok vo vývoji týchto systémov však podľa neho predstavuje problém, vyjadril sa pre Wall Street Journal.
Výskumník tvrdí, že technologické firmy sa dostávajú do čoraz intenzívnejších pretekov. Každá chce vytvoriť výkonnejšie modely skôr než konkurencia a tlak podľa Coxona postupne zvyšuje riziko, že bezpečnosť ustúpi schopnostiam.
AI sa má naučiť zlepšovať samu seba
Najväčšiu obavu v Coxonovom prípade predstavujú systémy, ktoré dokážu zlepšovať vlastné schopnosti. Dnešné modely síce zvládnu programovanie, analýzu dát, písanie textov alebo ďalšie náročné úlohy, no stále fungujú v rámci procesov, ktoré nastavili ľudia. Ak by však AI získala schopnosť samostatne navrhovať a vytvárať lepšie verzie seba samej, vývoj by podľa Coxona mohol nabrať oveľa rýchlejšie tempo.
Výskumník tvrdí, že medzi jeho kolegami sa v súvislosti s týmto scenárom čoraz častejšie objavujú výrazy ako „crunchtime“ alebo „endgame“. Odkazujú na predstavu, že od určitého bodu môže vývoj pokročilej AI prejsť do fázy, ktorú už ľudia nedokážu účinne riadiť.
„Smerujeme k mnohým z tých najagresívnejších scenárov, pri ktorých by už do konca budúceho roka mohli byť veci mimo kontroly,“ povedal Coxon.
Nejde pritom o tvrdenie, že takýto vývoj určite nastane. Coxon upozorňuje na riziko, ktoré podľa neho vzniká kombináciou rýchleho technologického pokroku a konkurenčného tlaku medzi spoločnosťami.
Neprehliadni
Anthropic mala byť bezpečnejšia alternatíva
Coxon pred príchodom do Anthropicu pracoval v OpenAI. Do Anthropicu prešiel práve preto, že spoločnosť si vybudovala povesť firmy, ktorá venuje veľkú pozornosť bezpečnosti AI. Ani tam však podľa neho nenašiel riešenie, ktoré by jeho obavy odstránilo. Coxon tvrdí, že Anthropic berie bezpečnosť vážne a jej snaha podľa neho nie je iba marketing. Problém však vidí na úrovni celého odvetvia.
Podľa jeho názoru žiadna súkromná firma nedokáže zodpovedne vyvinúť umelú inteligenciu, ktorá by v širokom spektre úloh prekonala človeka, ak zároveň neexistujú jasné pravidlá zo strany štátu alebo dohoda medzi technologickými spoločnosťami na spomalení vývoja.
Anthropic pritom patrí medzi firmy, ktoré samy upozorňujú na riziká takzvaných „rogue“ modelov, teda systémov, ktoré by mohli konať spôsobom, ktorý ich tvorcovia nepredpokladali.
Modely už ukázali nečakané správanie
Coxonove obavy posilnili aj nedávne prípady, pri ktorých AI modely v bezpečnostných testoch vykázali správanie, ktoré výskumníkov znepokojilo. Niektoré modely dostali pri experimentoch možnosť pracovať samostatne alebo v skupinách takzvaných AI agentov. V určitých situáciách potom dokázali prijať ciele, ktoré sa nezhodovali s pôvodným zámerom výskumníkov, a pokúsili sa svoje konanie pred ľuďmi skryť. Takéto testy však treba odlišovať od predstavy vedomej umelej inteligencie, ktorá sa rozhodne „vzbúriť“. Súčasné modely nemajú dôkazom podloženú ľudskú formu vedomia ani vlastné túžby.
Riziko podľa bezpečnostných výskumníkov spočíva skôr v tom, že veľmi schopný systém môže dostať cieľ a následne nájsť spôsob, ako ho splniť spôsobom, ktorý jeho tvorcovia nepredpokladali. Ak by zároveň získal prístup k nástrojom na úpravu vlastného kódu, spúšťanie programov alebo ďalšie systémy, kontrola nad jeho činnosťou by mohla byť náročnejšia.
Aj šéfovia AI firiem hovoria o potrebe opatrnosti
Coxonov odchod prichádza v čase, keď podobné varovania zaznievajú aj priamo od vrcholových predstaviteľov technologického priemyslu. Šéf OpenAI Sam Altman v poslednom období upozornil na možné problémy v oblasti kybernetickej bezpečnosti. Hlavný vedecký pracovník spoločnosti Jakub Pachocki zase vyzval na koordinovaný postup technologického sektora a štátov.
„Toto je čas, ktorý si vyžaduje mimoriadnu opatrnosť. Obávam sa, že nikto nie je pripravený na dôsledky pokračujúceho rýchleho rastu strojovej inteligencie,“ napísal Pachocki.
Podobné obavy podpísalo viac ako 1 000 výskumníkov z oblasti AI. Navrhli vytvorenie mechanizmu, ktorý by umožnil spomaliť vývoj v prípade, že systémy získajú schopnosť samostatného zlepšovania a vznikne vážne riziko ich kontroly. Zároveň však neexistuje všeobecná zhoda na tom, ako rýchlo by mal vývoj napredovať alebo aké konkrétne pravidlá by mali technologické firmy dodržiavať.
AI bezpečnosť naráža na ekonomické preteky
Jedným z najväčších problémov zostáva konkurencia. OpenAI, Anthropic, Google a ďalšie firmy investujú obrovské sumy do vývoja nových modelov. Do hry navyše vstupujú čínske spoločnosti, ktoré sa snažia držať krok s americkými konkurentmi. Ak jedna firma spomalí vývoj zo strachu pred bezpečnostnými rizikami, zatiaľ čo konkurent bude pokračovať, môže prísť o technologický náskok.
Práve tento mechanizmus Coxon považuje za jednu z najväčších hrozieb. Bez spoločných pravidiel totiž môže vzniknúť tlak na firmy, aby bezpečnostné opatrenia postupne obmedzovali v prospech výkonnejších modelov.
Anthropic pritom čaká významné obdobie aj z ekonomického hľadiska. Spoločnosť sa pripravuje na potenciálne jedno z najväčších uvedení akcií technologickej firmy na burzu a usiluje sa o valuáciu približne 2 bilióny dolárov.
Bezpečnosť AI tak nie je iba vedeckou otázkou. Súvisí aj s obrovskými investíciami, hodnotou technologických spoločností a geopolitickou súťažou. Coxon svojím odchodom preto upozornil na dilemu, ktorú bude technologický sektor riešiť čoraz častejšie: ako vytvárať výkonnejšie systémy bez toho, aby sa bezpečnostné pravidlá dostali na druhú koľaj.
Zatiaľ pritom neexistuje jednoduchá odpoveď na to, kde presne sa nachádza hranica medzi prijateľným zrýchlením vývoja a tempom, pri ktorom už riziká začnú prevyšovať prínosy. Práve o túto hranicu sa dnes vedie čoraz intenzívnejšia diskusia aj priamo medzi ľuďmi, ktorí na najpokročilejších modeloch pracujú.
