Algoritmus CALDERA dokáže „odrezať“ pokročilú AI od externých serverov. Fungovať bude v tvojom mobile
Nový algoritmus CALDERA umožňuje „odpútať“ pokročilú umelú inteligenciu od externých serverov. AI by si mohol mať priamo v svojom telefóne.
Veľké jazykové modely (LLM) sú čoraz bežnejšie pri automatizácii úloh, ako je preklad, analýza textu či zákaznícky servis. Ich funkčnosť ale väčšinou závisí od centralizovaných serverov, čo je finančne nákladné, energeticky neefektívne a častokrát aj pomalé.
Nový algoritmus CALDERA
Výskumníci z Princetonu a Stanfordu prišli s riešením v podobe algoritmu nazvaného CALDERA, uvádza princeton.edu. Tento nový prístup umožňuje efektívnu kompresiu jazykových modelov, čím ich robí vhodnými na lokálne použitie na zariadeniach, ako sú smartfóny a notebooky. Takýto model môže pracovať bez potreby prístupu k vzdialeným serverom, čo znižuje náklady, šetrí energiu a zároveň zvyšuje ochranu údajov.
Algoritmus CALDERA využíva kombináciu dvoch techník. Nízkej presnosti a nízkych hodnôt. Čo to ale znamená? Technika nízkej presnosti znižuje počet bitov potrebných na ukladanie a spracovanie údajov. Tým urýchľuje výpočty a znižuje energetickú náročnosť. Technika nízkych hodnôt sa zameriava na odstraňovanie redundancie v maticiach váh modelov, ktoré sú číselnými reprezentáciami vzorcov naučených z veľkých textových korpusov. Redundancia v tomto kontexte znamená nadbytočnosť alebo opakovanie údajov, ktoré nezvyšujú presnosť modelu, ale zaberajú miesto a spomaľujú spracovanie.
Spojenie týchto dvoch techník umožňuje vyššiu kompresiu modelov, než by bolo možné dosiahnuť s ktoroukoľvek z nich samostatne.
Výsledky testovania
Táto metóda bola testovaná na open-source modeloch Llama 2 a Llama 3 od spoločnosti Meta AI. Výsledky ukázali, že komprimované modely dosahujú takmer rovnakú presnosť ako nekomprimované verzie.
Neprehliadni
Dokážu riešiť zložité úlohy, ako sú otázky týkajúce sa fyzikálneho uvažovania či logické poradie výrokov. Pri porovnaní s tradičnými metódami zvýšila CALDERA presnosť až o 5 %, čo je významné najmä pri predpovedaní správnych slovných sekvencií.
„Keď používate ChatGPT, akákoľvek požiadavka, ktorú zadáte, ide na back-end servery OpenAI, ktoré spracúvajú všetky tieto údaje, a to je veľmi drahé,“ povedal spoluautor Rajarshi Saha.
Citlivé údaje zostanú v tvojom mobile
Jednou z najväčších výhod tohto riešenia je možnosť uloženia a používania modelov na lokálnych zariadeniach. Vďaka tomu používatelia nemusia posielať svoje požiadavky ani citlivé údaje na vzdialené servery, čo znižuje riziko ich neoprávneného prístupu alebo narušenia bezpečnosti. Lokálne spracovanie je navyše užitočné v prostrediach so slabým alebo nepravidelným internetovým pripojením.
Existujú ale určite obmedzenia
Komprimácia modelov však nie je úplne bez obmedzení. Prevádzka LLM na mobilných zariadeniach môže byť náročná na pamäť a batériu. Dlhodobé používanie by mohlo viesť k rýchlemu vybitiu batérie, čo predstavuje výzvu pre prenosné zariadenia.
Autori algoritmu preto zdôrazňujú potrebu kombinácie CALDERA s ďalšími technológiami, aby sa dosiahla vyššia efektívnosť bez výrazného znižovania výkonu.
Potenciál CALDERA
Potenciál tejto technológie je obrovský. Lokálne využitie LLM môže zvýšiť dostupnosť umelej inteligencie, posilniť ochranu súkromia a umožniť personalizáciu modelov. Navyše, vyššia energetická efektivita podporuje udržateľnosť a praktické nasadenie týchto systémov.
Komentáre