Umelá inteligencia môže začať hlúpnuť sama od seba. Vedci upozorňujú na pascu, do ktorej môže spadnúť celá AI
Umelá inteligencia sa môže zhoršovať, ak sa začne učiť hlavne z obsahu vytvoreného inou AI. Vedci ukázali, prečo potrebuje pravidelný kontakt s reálnymi dátami.
Umelá inteligencia už dávno nie je len nástroj na písanie textov či generovanie obrázkov. Firmy ju nasadzujú do vyhľadávania, odporúčacích algoritmov, kancelárskych nástrojov, zdravotníctva aj autonómnych vozidiel. Čím viac priestoru jej dávame, tým dôležitejšia je otázka, z čoho sa vlastne učí.
A práve tu vzniká problém. Ak sa AI začne vo veľkom trénovať na obsahu, ktorý vytvorila iná AI, môže sa dostať do nebezpečnej slučky. Namiesto učenia z reality začne recyklovať vlastný odraz. Vedci z King’s College London teraz ukazujú, že riešenie môže byť prekvapivo priamočiare. Model musí zostať napojený na vonkajší svet.
V AI laboratóriách sa tento jav označuje ako „kolaps modelu“. Termín sa výraznejšie dostal do diskusií približne od roku 2024 a rýchlo sa stal jednou z dôležitých tém budúcnosti umelej inteligencie. Ide o situáciu, keď sa model trénuje na dátach, ktoré nevznikli v reálnom svete, ale vyprodukoval ich iný model. Takýto uzavretý cyklus môže postupne ničiť kvalitu výstupov.
Najprv sú chyby malé. Model začne zjednodušovať, vynechávať menej časté prípady a posilňovať vlastné skreslenia. Potom sa problém nabaľuje. Odpovede strácajú presnosť, výsledky sa vzďaľujú od pôvodných dát a systém môže skončiť pri texte, ktorý znie presvedčivo, no fakticky stojí na vode.
Nejde ale len o teoretickú obavu. Vývojári veľkých jazykových modelov potrebujú obrovské množstvo kvalitných dát. Lenže tie nevznikajú nekonečne rýchlo. Časť odborníkov preto upozorňuje, že kvalitný ľudský text vhodný na tréning sa môže začať vyčerpávať. Pokušenie tu je, doplniť ho syntetickými dátami, teda obsahom vytvoreným umelou inteligenciou.
Neprehliadni
Z technického hľadiska ide o pomerne jednoduché a logické riešenie. Syntetické dáta sa dajú vytvárať rýchlo, lacno a vo veľkom objeme. Lenže ak sa z nich stane hlavný zdroj učenia, model môže stratiť oporu v realite. AI potom nepreberá nové informácie zo sveta, ale učí sa z výstupov iných modelov.
Kolapsu AI modelov môže zabrániť aj malý kontakt s realitou
Veľký jazykový model, teda LLM, je konkrétny typ umelej inteligencie. Učí sa zo vzorov v obrovskom množstve textu a na základe nich predpovedá, čo má nasledovať. Kvalita výstupu preto závisí od kvality dát, ktoré model dostane počas tréningu.
AI nemá vlastnú skúsenosť. Nevidela svet, neprežila udalosť, neoverila si fakt v teréne. Pracuje s dátami, ktoré jej niekto poskytol. Ak sú tieto dáta bohaté, rôznorodé a ukotvené v realite, model má z čoho čerpať. Ak sa však učí najmä z výstupov iných modelov, začne sa pohybovať v čoraz užšom priestore.
Práve tento problém skúmal medzinárodný tím vedcov z King’s College London, Norwegian University of Science and Technology a Abdus Salam International Centre for Theoretical Physics v Taliansku. Výsledky publikovali v prestížnom vedeckom časopise Physical Review Letters.
Vedci nepracovali priamo s veľkými jazykovými modelmi typu ChatGPT. Zvolili jednoduchší, no matematicky silný rámec. Použili takzvané exponenciálne rodiny modelov. Ide o dôležitú triedu štatistických modelov, ktoré sa používajú na opis dát a pravdepodobnostných vzťahov. Ich výhoda je v tom, že sa dajú analyzovať čistejšie než obrovské neurónové siete.
Výsledok bol, že ak sa model učil iba z dát, ktoré si sám vytvoril, uzavretý tréningový cyklus ho tlačil ku kolapsu. Chýbal mu kontakt s vonkajším svetom. Postupne sa deformoval obraz dát, z ktorého vychádzal, a chyby sa začali hromadiť. Model sa učil stále, len už nie realitu.
Jeden dátový bod zvonka dokázal zastaviť zhoršovanie modelu
Najzaujímavejšia časť výskumu prisľa ale až potom. Vedci zistili, že kolaps sa dá v tomto type modelov zastaviť aj veľmi malým zásahom zvonka. Stačil jeden dátový bod pochádzajúci mimo uzavretej slučky.
Neznamená to ale, že jeden ľudský text zachráni celý ChatGPT. Štúdia ukazuje princíp. Model potrebuje pravidelný kontakt s dátami, ktoré nepochádzajú z jeho vlastnej generácie.
Podobný účinok malo aj zapracovanie takzvanej prior belief, teda predchádzajúcej znalosti alebo predpokladu, ktorý model nezískal zo svojich vlastných výstupov. Aj vtedy sa systém dokázal vyhnúť degenerácii, hoci syntetické dáta výrazne prevažovali nad skutočnými.
Profesor Yasser Roudi z King’s College London zdôrazňuje, že jednoduchší model umožnil vedcom vidieť mechanizmus problému bez zbytočného šumu. Pri veľkých jazykových modeloch je často ťažké určiť, prečo sa objaví nesprávna odpoveď alebo halucinácia. Pri menšom modeli sa dá presnejšie ukázať, čo sa deje, keď sa učenie uzavrie samo do seba.
Štúdia teda nehovorí, že halucinácie v AI sú vyriešené. Nehovorí ani to, že vývojári už majú hotový návod pre ďalšiu generáciu LLM. Ukazuje však matematický dôvod, prečo môže byť úplné spoliehanie sa na syntetické dáta nebezpečné.
Budúca AI bude potrebovať realitu, nie iba ďalšiu AI
Výskumníci podobné správanie pozorovali aj pri inom type modelov, napríklad pri Restricted Boltzmann Machines. Ide o špecifický typ neurónovej siete, ktorý sa používa v strojovom učení a pomáha pochopiť, ako systémy zachytávajú vzory v dátach.
Restricted Boltzmann Machine má dve vrstvy. Viditeľná vrstva pracuje so vstupnými dátami, skrytá vrstva sa učí zachytávať vzťahy medzi nimi. Uzly v rámci jednej vrstvy sa navzájom nespájajú. Komunikácia prebieha iba medzi vrstvami. Práve preto sa tieto modely analyzujú jednoduchšie než rozsiahle moderné siete.
Ak sa podobný problém objavuje aj pri nich, nejde pravdepodobne o zvláštnosť jedného matematického modelu. Naznačuje to širší princíp: AI systém, ktorý sa príliš dlho učí z vlastných výstupov, môže postupne strácať schopnosť verne zachytávať pôvodný svet.
Dopad môže byť väčší, než sa zdá. Nejde len o chatboty, ktoré občas napíšu nezmysel. Odporúčacie algoritmy, digitálni asistenti, analytické systémy aj technológie nasadzované v doprave stoja na kvalite dát. Ak sa ich tréningové dáta zanesú syntetickým obsahom bez väzby na realitu, zhoršenie sa môže preniesť do služieb, ktoré používame každý deň.
Tento výskum neprináša okamžitú opravu veľkých jazykových modelov. Prináša však jasné varovanie. Budúca AI nebude potrebovať len viac dát. Bude potrebovať dáta, ktoré ju pravidelne vrátia späť k realite.
