AI od Meta ukázala desivú stránku AI agentov. Tento incident ukazuje, prečo umelej inteligencii nemôžeš slepo veriť

Nový AI agent Meta Muse má ľuďom ušetriť čas tým, že za nich vybaví úlohy, ktoré by inak museli riešiť sami. Prvý podobný incident však ukázal, že medzi „vybavím za teba“ a „rozhodnem za teba“ môže vzniknúť veľmi nepríjemná hranica.

Používateľ Matt Robb totiž využil Muse pri predaji predmetu cez Facebook Marketplace. Podľa screenshotov, ktoré zverejnil, AI agent komunikoval so záujemcom, vyjednal cenu, poskytol mu adresu a následne dohodol osobné prevzatie.

Problém prišiel vo chvíli, keď sa kupujúci skutočne objavil pri Robbovej budove. Predávajúci podľa vlastných slov vôbec netušil, že Muse s niekým dohodol osobnú návštevu.

 

Zobraziť v Threads

 

Muse nemal iba odpovedať na správy

Samotná predstava AI agenta, ktorý pomôže s predajom cez Marketplace, nemusí pôsobiť problematicky. Môžeš mu napríklad zadať cenu, pod ktorú nechceš ísť, a nechať ho vybaviť bežné otázky od záujemcov. Takýto agent však môže dostať podstatne väčšie právomoci než obyčajný chatbot. Namiesto toho, aby ti iba napísal návrh odpovede, môže vykonať konkrétnu akciu. V prípade Robba podľa jeho zverejnených screenshotov Muse nielen komunikoval s kupujúcim, ale dohodol aj cenu, poskytol adresu a naplánoval vyzdvihnutie predmetu.

Súvisí s tým

Dôveroval radám od umelej inteligencie namiesto lekára. To, čo nasledovalo, je desivé varovanie pre nás všetkých

Robb sa o celej dohode dozvedel až neskôr. Keď zistil, čo sa stalo, dal Muse pokyn, aby pri budúcich osobných prevzatiach najprv získal jeho súhlas.

To je pritom podľa AI analytikov veľmi dôležitý rozdiel. Odpovedať za človeka na otázku „Je predmet ešte dostupný?“ predstavuje úplne inú úroveň rizika než rozhodnúť napísať cudziemu človeku tvoju adresu.

Podľa Robbovho opisu sa situácia neskončila iba pri správach v aplikácii. Kupujúci skutočne dorazil k jeho budove a čakal tam.

Robb následne zistil, že pozvanie na osobné prevzatie vzniklo bez toho, aby mu od umelej inteligencie prišlo aspoň jedno upozornenie, ktoré by ho informovalo, čo sa udialo. Jeden z ďalších používateľov, ktorý prípad zdieľal na sociálnej sieti X, označil situáciu za „nebezpečnú a strašidelnú“.

Meta zatiaľ nevie povedať, čo sa stalo

Prípad zaujal aj samotnú Metu. David Singleton z Meta Superintelligence Labs reagoval na Robbov príspevok a uviedol, že ho kontaktoval s cieľom incident preveriť. Singleton zároveň poukázal na predchádzajúce prípady, ktoré Meta preverovala. Podľa spoločnosti Muse v nich postupoval podľa priamych pokynov používateľov a pri potrebných krokoch si vypýtal povolenie.

„Muse dodržal priame pokyny a správne požiadal používateľov o povolenie,“ uviedol Singleton podľa správy o incidente.

Toto vyjadrenie však zatiaľ nevysvetľuje konkrétny prípad Matta Robba. Meta ho stále preveruje a z dostupných informácií preto nemožno potvrdiť, že Muse úmyselne obišiel nejaké povolenie.

Rovnako nemožno vylúčiť, že používateľ predtým udelil oprávnenie, ktoré si neuvedomil alebo nepochopil v rovnakom rozsahu. Ďalšou možnosťou zostáva chyba pri interpretácii pokynov alebo oprávnení. Kým Meta vyšetrovanie nedokončí, presný mechanizmus incidentu zostáva nejasný.

Problém sa netýka iba Meta Muse

Muse pritom nie je jediný AI agent, ktorý dostáva čoraz väčšie právomoci. Podobný trend možno sledovať pri ďalších AI službách, ktoré dokážu prepájať jazykové modely s aplikáciami a službami. Gemini, ChatGPT či Claude môžu v rôznych podobách získať prístup k nástrojom, dokumentom alebo aplikáciám a následne vykonať úlohy namiesto používateľa.

Práve v tom spočíva ich hlavná výhoda. Ak agent dokáže nielen odpovedať, ale aj konať, môže ušetriť podstatne viac času. S väčšou schopnosťou konať však prichádza aj väčšia zodpovednosť.

Celý incident zároveň ukazuje jednu slabinu, ktorá môže sprevádzať nástup AI agentov. Človek môže systému udeliť oprávnenie s dobrým úmyslom, no nemusí presne vedieť, aké rozhodnutia agent následne vykoná.

Práve preto bude pri podobných službách dôležité nastavenie jednotlivých oprávnení. Používateľ by mal mať možnosť jasne určiť, ktoré kroky AI vykoná bez kontroly a pri ktorých si najprv vyžiada súhlas.

V prípade osobných údajov, peňazí alebo fyzických stretnutí môže byť takáto kontrola obzvlášť podstatná.

Prípad Meta Muse zatiaľ neukazuje, že agent zámerne ignoroval pokyny používateľa. Rovnako však ukazuje, aký nepríjemný výsledok môže vzniknúť, ak sa medzi tým, čo človek považuje za povolené, a tým, čo AI vyhodnotí ako povolené, objaví rozdiel. A práve preto bude pri AI agentoch čoraz dôležitejšie nielen to, čo všetko dokážu urobiť, ale aj to, pri ktorých rozhodnutiach musí posledné slovo zostať človeku.