Vedci dokázali počuť fotografiu: Nová technológia zistí, čo sa hovorilo, keď ste stlačili spúšť
Nový nástroj Side Eye dokáže získať audiostopu z momentu, kedy ste stlačili spúšť na fotoaparáte. Môžeme tak fotky prinútiť hovoriť.
Pozreli ste sa niekedy na fotografiu a želali ste si, aby ste mohli tento záber počuť? To sa jedného dňa môže stať realitou.
Výskumníci z Northeastern University našli spôsob, ako získať z fotografií audio stopu. To sa im dokonca podarilo aj z videí, kde bol zvuk vypnutý. Ako je to možné? Autori štúdie, vedenej Kevinom Fu, použili Side Eye, nástroj, ktorý poháňa strojové učenie. S pomocou tohto nástroja dokázali určiť pohlavie osoby v miestnosti, kde niekto iný vytvoril fotografiu. Dokonca dokázali zistiť aj konkrétne slová. Lenže ako je niečo také vôbec možné?
Znie to ako niečo zo sci-fi a sčasti aj je. Inšpiráciou pre nástroj Side Eye bola epizóda seriálu Fringe, v ktorej vyšetrovatelia dokázali získať audio stopu z roztavenej sklenenej tabule. Jeden kritik označil metódu za “smiešnu pseudovedeckú techniku”.
“Keď som si tento komentár všimol, povedal som si, že to zvládneme. Moje laboratórium sa špecializuje na nemožné veci. Spolu s kolegami očakávame, že ak niekto zareaguje na hocičo čo spravíme slovami “je to nemožné”, odpovedáme, že sme to už urobili,” vyjadril sa Fu.
Technológia Side Eye funguje na princípe stabilizácie obrazu, ktorú už dnes má prakticky každý smartfón. Ak sa vám trasú ruky, stabilizátor sa postará o to, aby ste neodfotili rozmazanú fotku. Stabilizácia funguje tak, že drobné pružinky držia šošovku fotoaparátu ponorenú v kvapaline. Elektromagnet a senzory následne tlačia šošovku rovnakou, no protichodnou silou. V praxi to znamená, že objektív ostane nehybný.
Zaujímavosťou je, že keď niekto hovorí blízko objektívu fotoaparátu, vznikajú v pružinách mimoriadne jemné vibrácie, ktoré ohýbajú svetlo. Výsledná zmena je ale takmer nepostrehnuteľná. Fu vysvetľuje, že za normálnych okolností by bolo mimoriadne zložité získať frekvenciu z týchto mikroskopických vibrácií. Spôsob, akým fungujú moderné fotoaparáty smartfónov im to však uľahčuje.
Neprehliadnite
“Dnešné fotoaparáty fungujú tak, že nesnímajú všetky pixely fotografie naraz. Namiesto toho postupujú po radoch, čo sa opakuje stotisícekrát na jednom zábere. V praxi to znamená, že z tohto dokážete získať tisíckrát viac informácií,” vysvetlil Fu.
S pomocou AI
Na to aby Side Eye fungoval stačí len kúsok svetla. Čím viac obrazu má však nástroj k dispozícii, tým je výsledok lepší. Ak však očakávate kryštálovo čistú nahrávku, nástroj Side Eye vás určite sklame. Nahrávka aj prinajlepšom znie, ako keby niekto rozprával pod vodou. Mimoriadne pôsobivé je však už len to, že sa výskumníkom niečo také vôbec podarilo. Tu ale nastupuje na rad umelá inteligencia.
Ak chcete vedieť, čo bolo pri zachytení fotografie povedané, umelú inteligenciu môžete natrénovať na jednoduchých frázach. Zatiaľ to však nefunguje tak, že by umelá inteligencia dokázala rozpoznať reč na prvýkrát.
“Ak chcete vedieť, či niekto povedal áno alebo nie, umelú inteligenciu natrénujete na tom, ako rôzni ľudia hovoria áno/nie. Potom vám AI model dokáže s pomerne vysokou pravdepodobnosťou povedať, ktorú z možností niekto povedal,” hovorí Fu.
Side Eye by v budúcnosti mohol nájsť využitie napríklad na súde ako dodatočný dôkazový materiál. Cez fotografiu by sa mohlo dokázať či osoba bola alebo nebola tam, kde tvrdila.
Komentáre