Používaš ChatGPT na písanie textov? OpenAI do nich pridá skrytú stopu, podľa ktorej ich bude možné odhaliť

Text, ktorý ti vygeneruje ChatGPT, môže po novom obsahovať neviditeľnú digitálnu značku. OpenAI ju začne v najbližších týždňoch pridávať do podporovaných textových výstupov v Európskej únii, takže sa zmena dotkne aj používateľov na Slovensku. Z bežného pohľadu si pritom na texte nič zvláštne nevšimneš.

Firma novinku oznámila 5. októbra v súvislosti s pravidlami európskeho AI Actu, ktoré riešia aj označovanie obsahu vytvoreného umelou inteligenciou. Podľa oficiálneho oznámenia OpenAI sa watermark začne objavovať vo výstupoch ChatGPT aj Codexu a týkať sa má používateľov všetkých programov ChatGPT, nielen platených verzií.

Nie každá odpoveď však automaticky dostane takúto značku. OpenAI hovorí o textoch, na ktoré sa nové pravidlo vzťahuje, a výnimky pozná aj samotný AI Act, napríklad pri niektorých úpravách existujúceho textu, ktoré zásadne nemenia jeho obsah alebo význam.

Watermark sa ukryje do spôsobu, akým ChatGPT vyberá slová

V texte nebude žiadny tajný znak, ktorý by si odhalil skopírovaním do iného editora alebo zapnutím zobrazenia skrytých znakov. textGrain zasahuje priamo do toho, ako ChatGPT skladá odpoveď. Pri každom ďalšom tokene, teda slove alebo jeho časti, má model viacero možných pokračovaní a technológia mierne upravuje, po ktorých z nich siahne.

Na jednej vete to nespoznáš. V dlhšom texte sa však množstvo takýchto drobných rozhodnutí začne opakovať a vytvorí štatistickú stopu, ktorú vie hľadať detektor OpenAI. Samotné znenie pritom môže pôsobiť úplne prirodzene.

Súvisí s tým

Bývalý výskumník OpenAI bol zhrozený z konverzačných záznamov, ktoré ukazujú, ako ChatGPT priviedol používateľa k vážnemu psychickému kolapsu

OpenAI vo svojich benchmarkoch tvrdí, že toto značenie výrazne nezhoršilo výkon modelu Astra. Tento výsledok však zatiaľ pochádza z interného testovania firmy, nie z nezávislého porovnania.

Watermark funguje lepšie pri dlhších textoch, no stále nie na 100 %

Najväčší limit watermarku vidno už v samotných testoch OpenAI. Pri anglických odpovediach z datasetu ELI5 dokázal detektor pri 1 % miere falošne pozitívnych výsledkov zachytiť približne 80 % označených textov s dĺžkou 200 tokenov. Keď mal text 400 tokenov, úspešnosť stúpla približne na 95 %.

Dĺžka teda hrá veľkú úlohu. Token pritom neznamená automaticky jedno celé slovo, model môže slová deliť aj na menšie časti. Pri kratšom texte jednoducho vznikne menej príležitostí na to, aby sa štatistická stopa dostatočne prejavila.

Výsledky navyše nie sú rovnaké pri každom type obsahu. OpenAI nameralo slabšiu detekciu napríklad pri matematických textoch, kde má model pri formulovaní odpovede podstatne menej možností. A zatiaľ nie je dôvod predpokladať, že čísla z anglického datasetu budú vyzerať rovnako aj pri slovenčine.

textGrain pritom nefunguje ako bežné webové AI detektory, ktoré skúšajú z formulácií a štýlu odhadnúť, či text pripomína výstup jazykového modelu. Detektor OpenAI hľadá konkrétnu štatistickú stopu, ktorú systém vložil do textu už počas jeho generovania.

Po výmene štvrtiny slov klesla detekcia z 92 % na 17 %

V ďalšom teste OpenAI zobralo 400-tokenové texty, pri ktorých detektor pôvodne dosahoval približne 92 % úspešnosť. Po nahradení 10 % slov synonymami klesla na približne 66 %. Keď výskumníci zmenili štvrtinu slov, watermark našiel už iba v 17 % prípadov.

Nie je to návod, podľa ktorého stačí prepísať presne 25 % textu a značka zmizne. Výsledok však ukazuje, ako citlivý je takýto systém na následné zásahy do textu. Preklad, výraznejšie preformulovanie či kombinovanie viacerých textov menia práve tie drobné voľby slov, z ktorých textGrain svoju stopu skladá.

Watermark ti neprezradí autora ani pôvodný prompt

Zo samotného watermarku nezistíš meno používateľa, účet, organizáciu, pôvodný prompt ani konkrétnu konverzáciu. Detektor má hľadať iba stopu, že text vytvoril alebo spracoval systém OpenAI.

Nevie pritom povedať, koľko z textu napísal človek sám a koľko neskôr prepísal. Rovnako z neho nezistíš, či je obsah pravdivý, kto k nemu vlastní práva alebo či bol použitý v súlade so zákonom. A keď detektor značku nenájde, ani to ešte nič definitívne neznamená. Text mohol byť príliš krátky, preložený, výraznejšie upravený, vytvorený inou AI službou alebo ešte pred zavedením textGrainu.

OpenAI preto zatiaľ nedáva detektor voľne k dispozícii verejnosti. Prístup majú dostať schválení výskumníci a odborné organizácie, ktoré budú ďalej sledovať jeho presnosť aj prípady, keď označený text nezachytí alebo naopak vyhodnotí nesprávne.

V ChatGPT príde automaticky, pri API si ho vývojári zapínajú sami

V Európskej únii začne OpenAI watermark nasadzovať do oprávnených výstupov ChatGPT a Codexu v priebehu nasledujúcich týždňov. Pri vývojárskom API zostáva situácia odlišná. Watermark si tam možno pri podporovaných modeloch zapnúť aj mimo EÚ, štandardne je však vypnutý.

Firma chce textGrain neskôr uvoľniť aj ako open-source technológiu. Reálnu spoľahlivosť watermarku však preverí až bežné používanie, najmä pri prekladoch a výraznejšie upravených textoch.