Začína umelá inteligencia rozmýšľať? Vedci porovnali to, ako uvažuje, s uvažovaním vysokoškoláka
Autori novej štúdie porovnávali výkon modelu GPT-3 s výkonom vysokoškolákov v štandardizovaných prijímacích testoch a logických úlohách.
Človek má prirodzenú schopnosť riešiť nové problémy bez toho, aby sme sa na ne museli vopred špeciálne pripravovať. S novými problémami si dokážeme poradiť tak, že si ich podvedome porovnáme so známymi problémami a na základe toho odvodíme, ako by sme ich vedeli riešiť.
Častokrát si to ani neuvedomíme, no veda má na tento druh uvažovania svoj špecifický pojem, analogické usudzovanie. Doteraz sme predpokladali, že ide o vlastnosť prirodzenú jedine človeku. V poslednej dobe sme však mohli pozorovať vzostup umelej inteligencie. Tá síce stále nie je dokonalá, no ako dokazujú vo svojej novej práci výskumníci z University of California, Los Angeles, jazykový model GPT-3 už dokáže uvažovať podobne ako vysokoškolský študent.
V rámci zaujímavého experimentu autori štúdie dokazujú, že tento jazykový model riešil rôzne rozumové úlohy podobne ako študenti. Úlohy s ktorými sa umelá inteligencia musela boli podobné, s akými sa môžu študenti stretnúť na štandardizovaných testoch SAT. Tie sa používajú v Spojených štátoch. Tieto testy sa objavujú pri prijímacích skúškach na vysoké školy v USA.
„Z našej štúdie vyplýva mimoriadne dôležitá otázka. Imituje model GPT-3 ľudské uvažovanie preto, lebo bol trénovaný na masívnom jazykovom datasete, alebo používa od základu odlišný kognitívny proces?“ pýtajú sa autori štúdie.
Je nutné podotknúť, že autori výskumu nemali prístup k „vnútornostiam“ jazykového modelu GPT-3, ktoré si spoločnosť OpenAI starostlivo stráži. Bez toho nemôžu s istotou povedať, ako systém naozaj funguje. Zo štúdie vyplynulo aj to, že zatiaľ čo si umelá inteligencia dokáže s niektorými úlohami poradiť lepšie, než očakávali, pri iných úlohách pohorí naozaj výnimočným spôsobom.
„Výsledky našej práce sú skutočne pôsobivé, no nemôžeme zabúdať, že systém má stále veľké limitácie,“ tvrdí Taylor Webb, jeden z autorov štúdie.
Dokáže dnešná umelá inteligencia rozmýšľať?
Webb vysvetľuje, že hoci môže mať model GPT-3 analogické usudzovanie, stále nedokáže robiť veci, ktoré sú pre nás ľudí znejú prirodzene. Ako príklad uvádza používanie nástrojov aby sa umelá inteligencia vysporiadala s fyzickým problémom. V tomto smere zadali autori štúdie umelej inteligencii zopár úloh, s ktorými by si poradili aj malé deti. Riešenia ktoré AI ponúkla nedávali najmenší zmysel.
Neprehliadnite
Čo sa však testov na analogické usudzovanie týka, autorov inšpiroval test, pri ktorom musí osoba predpovedať nasledujúci obrázok v komplikovanom usporiadaní rôznych tvarov. Aby mohol model GPT-3 obrazce „vidieť“, autori štúdie ich pretvorili do textového formátu. Táto metóda bola aj akousi zárukou, že sa umelá inteligencia s týmto testom ešte nestretla. Následne dali rovnakú úlohu aj 40 študentom univerzity.
„Prekvapilo nás, že výkon modelu GPT-3 bol porovnateľný s človekom. Umelá inteligencia dokonca robila aj rovnaké chyby ako študenti,“ vysvetlil Hongjing Lu, spoluautor štúdie.
Umelá inteligencia dokázala vyriešiť správne 80% problémov. Tým dosiahla vyšší výsledok ako priemer, stále však v rámci najvyšších hodnotení, ktoré človek dosiahol. Zároveň umelej inteligencii dali niekoľko otázok, ktoré sa vyskytujú v SAT testoch, no s najväčšou pravdepodobnosťou sa ešte nedostali na internet. AI teda na nich nemohla trénovať. V tomto smere sa modelu GPT-3 darilo lepšie ako je priemerný výsledok ľudí.
V nasledujúcich štúdiách chcú vedci preskúmať, či je možné, že umelá inteligencia už začína „rozmýšľať“ alebo robí niečo, čo len napodobňuje ľudské myšlienky.
Komentáre