Umělá inteligence začala degenerovat a nikdo neví proč

Matyáš Boháček studuje počítačové vědy na americké Stanfordově univerzitě. S jedním z nejcitovanějších akademiků zabývajících se umělou inteligencí, profesorem Hanym Faridem z Kalifornské univerzity v Berkeley, zkoumá možnosti ověřování umělé inteligence a její limity. Rozhovor proběhl v létě v kavárně na Stanfordově univerzitě. 

Spousta lidí má ještě pořád problém s používáním termínu „umělá inteligence“, neboť tvrdí, že to není inteligence. Jak to vidíš ty?

Myslím, že se jedná o férovou kritiku. Nicméně termín se již ustálil, takže není cesty zpět. Osobně jsem se s tím už smířil.

Mám za to, že termín umělá inteligence (AI, artificial intelligence) je zavádějící. Lidé, kteří tomu nerozumí, si pod tím představují nějakého humanoidního robota schopného dělat všechno, odpovídat na všechno, ale tak tomu dnes není.

V současnosti máme v rámci AI systémy specializované na konkrétní problém, konkrétní tvorbu nebo analýzu. Jednotlivé modely AI přitom nemají ponětí o světě mimo ten jejich. A samotný model je pouze velká spousta matic a vrstev matematických operací. Jednotlivé modely AI jsou spíš nástroje než inteligence v nějakém širším slova smyslu.

Nedávno jsi s kolegy publikoval studii o tom, že umělá inteligence degeneruje. Co si pod tím mám představit?

Na konci minulého roku jsme pracovali na výzkumu, který vycházel z jednoduché otázky: co se stane, když se modely AI generující obrázky budou učit na obrázcích, jež samy vytvořily? A ukázalo se, že v trénovací sadě pro model AI stačí jen velmi málo vlastních výtvorů a model začne degenerovat – tedy tvořit obrázky, které vůbec nedávají smysl. Jsou úplně rozbité a neodpovídají zadané úloze.

Když OpenAI nebo Stability AI, což je autor modelu Stable Diffusion na obrázky, trénují své modely, používají datasety stažené z internetu. Někdo prostě naprogramuje bota, který jenom stahuje obrázky z internetu, z fotobank, ze sociálních sítí a dalších zdrojů a s nimi stahuje i popisky těch snímků. Jenže lidé, co vyslali do světa obrázky vytvořené umělou inteligencí, k popisku málokdy napíšou, že je to výtvor umělé inteligence. A dnes žádný zaužívaný systém na detekci uměle vygenerovaných obrázků nemáme. Firmy, které trénují modely AI na generování obrázků, tak nedokážou rozpoznat, jestli v trénovací sadě není nějaké „kukaččí vejce“, tedy uměle vygenerovaný obrázek nebo fotka.

Náš výzkum poukazuje na to, že pokud tam budou obrázky vytvořené AI, rozbije jim to model. Proto se domníváme, že právě to je ten důvod, proč mnohé z těch firem přestaly své generátory trénovat na datech vygenerovaných po roce 2021. Jejich modely začaly degenerovat.

Kolik procent obsahu generovaného AI stačí, aby model začal generovat halucinující nebo rozbité fotografie? 

V našem výzkumu jsou to 3 %, což je hrozně málo.

Co to znamená, že velké korporace netrénují svoje modely na nových datech? 

Znamená to, že AI ohledně informací uvízla někde v roce 2021. Což je samozřejmě nedostatečné.

Je potřeba říct, že my přesně nevíme, jak velké firmy trénují své modely. Když říkám, že trénink skončil na datech z roku 2021, jde o informace, které ty firmy veřejně prezentují.

My jako výzkumníci ovšem nevidíme do jejich systémů a nejsme schopni to přesně určit.

Dalším podle mě problematickým aspektem je fakt, že AI modely jsou často nějakým způsobem předpojaté. Například mají tendenci zobrazovat ženy, jak se starají o děti, či jako uklízečky, zatímco muži bývají ředitelé firem.

Dá se tato forma degenerace nějak ošetřit, nebo jsme s AI skončili v roce 2021?

Vyřešit to lze – jednak tím, že budeme používat pouze reálné obrázky. Je potřeba se vrátit k trénovacímu datasetu a zamyslet se nad tím, jak ho lépe trénovat. Jak zajistit, aby se do systému nedostávaly produkty AI. Řešení ale nebude jednoduché. Velké AI firmy se musejí začít chovat zodpovědněji a lidé budou muset sami rozlišovat, co je uměle vygenerované a co je autentická fotografie. Jenže mnoha lidem stačí, že dělají „cool modely, co generují cool obrázky, a je to hrozně super“.

Ale proč se to děje? Proč AI degeneruje, když se trénuje na vlastních produktech?

To je skvělá otázka, na kterou bych rád odpověděl, avšak podstatu tohoto jevu neznáme. Máme sice nějaké teorie, ale jestli jsou správné, nevíme. Důkazy pro jakoukoli z těch teorií zatím nejsou dost silné.

Umělá inteligence dnes pokrývá mnoho oblastí – od lékařské diagnostiky přes programování až po vytváření videí. Většina lidí si ale pod AI představí chatbota, kterému zadává dotazy a on odpovídá. Proč jsou nejpopulárnější velké jazykové modely neboli LLMka? 

Důvodů je několik. Velké jazykové modely mají k dispozici velké množství dat volně přístupných na internetu. Zároveň můžou využívat velký výpočetní výkon díky grafickým kartám GPU. V neposlední řadě toho akademici a experti na poli natural language processing (přirozené zpracování jazyka, NLP, pozn. red.) už hodně vyzkoumali a popsali. To všechno se sešlo dohromady a vznikl produkt, který úplně předčil veškeré schopnosti předchozích systémů.

Hraje roli i fakt, že jazyk je každodenní forma komunikace, co se týče obsahu informací jazykem přenášených, a zároveň je dostatečně flexibilní, aby malá odchylka nezabránila informace předat?

To je pravda. V jazyce existuje spousta způsobů, jak srozumitelně říct stejnou věc, a nějaké drobnější nedostatky lze tolerovat nebo ignorovat, což například nelze říct u obrázku. Pokud nějaký pixel vůbec nedává smysl nebo tam člověk najednou má čtyři nebo šest prstů, tak je to do očí bijící problém. Dnes se ale úrovně jazykového modelu a uměle generovaných obrázků už vyrovnávají.

Jak odvážné bylo rozhodnutí OpenAI investovat všechno do jazykových modelů?

To si netroufnu posoudit, protože zpětně to všechno působí hrozně logicky a velice jednoduše. Riskantní rozhodnutí to ale být muselo, protože v době, kdy to učinili, nikdo nevěděl, jestli to bude či nebude fungovat.

Dodnes totiž nemáme žádnou dokonale obsažnou nebo rigidní „teorii umělé inteligence“. V této oblasti je všechno experimentální, takže člověk nikdy moc neví, jaký bude výsledek. Například ve fyzice je to v tomto ohledu jednodušší, spolužáci, co dělají výzkumy ve fyzice, mají nějaké očekávání toho, co se stane, což ve výzkumu umělé inteligence nemáme. My věci zkoušíme a někdy to funguje, někdy zase ne. Samozřejmě máme nějaké strategie a struktury, kterými se řídíme, ale je to daleko víc experimentální než v ostatních oborech. Dokážu si zkrátka představit, že rozhodnutí OpenAI muselo být velmi riskantní.

A je ta „experimentálnost“ problém?

To záleží, koho se zeptáš. Spoustě lidí takový přístup vadí, protože nerozumíme tomu, jak modely AI fungují. Nerozumíme nejen AI modelům, ale ani dalším přidruženým etickým i sociálním dopadům na společnost. A to může být nebezpečné.

Zároveň musím dodat, že můžeme vytvářet systémy umělé inteligence, kterým sice nerozumíme nebo na ně nemáme žádnou hutnou teorii, ale můžeme se snažit porozumět jejím dílčím rozhodnutím. Tomu se věnuje spousta lidí, vytvořili modely a naše chápání toho, jak AI funguje, se tím zlepšuje.

Podobné dílčí porozumění ale kritizuje další skupina odborníků, kteří se domnívají, že naše chápání toho, jak funguje AI, je povrchní. Je pravda, že nerozumíme, jak modely AI vznikají a proč jsou tak schopné a účinné. Velká část komunity to vidí jako problém.

Pak jsou tu ještě lidé z byznysu, ovšem ty možné zneužití AI moc nepálí…

Zneužívání umělé inteligence se už děje? 

Jistě, v podobě deepfakes, tedy uměle vytvořených fotografií, videí a také audioobsahu. V USA už to jede naplno, v Česku se to rozjíždí.

Jednou formou zneužití jsou například podvodné telefonáty. Podvodníci využívají AI k tomu, aby napodobili hlasy blízkých lidí oběti. Můžou to být třeba rodiče, partneři nebo děti. Naklonují hlas – tedy vytvoří model toho hlasu, který zní úplně přesvědčivě. Tento model pak můžu nechat odříkat jakýkoli text. Potom volají konkrétním lidem a oběti tohoto podvodu v telefonu slyší hlas svých blízkých v uměle vytvořené kritické situaci, například: „Haló, mami! Jsem v nemocnici a potřebuji dvě stě dolarů, aby mě ošetřili…“ Jelikož tomu oběť uvěří a chce svým blízkým pomoct, často si ani neuvědomí, že v tom všem něco nesedí, například že váš blízký mluví pouze spisovně. Prostě slyší hlas blízké osoby, chce pomoci a pošle peníze. Policie si s tímto druhem podvodů neví rady, protože detekce a prevence je nesmírně složitá.

Umělá inteligence se ale začala zneužívat i v politických kampaních. Ve Spojených státech masivně využívají uměle generovaná videa hlavně republikáni. Tato videa nebo fotky buď zobrazují jejich politické rivaly v nějakých kompromitujících či jinak nepříjemných situacích, nebo naopak zobrazují jejich kandidáty v pozitivních situacích. Dělají to hlavně podporovatelé Trumpa. Například vytvořili umělé fotografie, kde Donald Trump vesele a v přátelském duchu griluje s Afroameričany nebo kde klečí v kostele. Tento typ obrázků se na sociálních sítích šíří extrémně rychle. Trumpovi podporovatelé taky za pomoci umělé inteligence vytvořili videoklip, kde vygenerovali San Francisco (ve volbách tam dlouhodobě vítězí demokraté, pozn. red.) jako centrum extrémní bídy, narkomanů, bezdomovců a špíny.

AI se dnes také zneužívá pro hackování nebo třeba získávání hesel, podobných příkladů zneužití existuje spousta.

Lze nějak rozpoznat, že obrázek nebo video je vytvořené umělou inteligencí?

Je to možné. V posledním výzkumu, jehož výsledky jsme s kolegy publikovali, jsme vytvořili systém, který se učí konkrétní gesta a mimiku jednotlivých lidí. Říkáme tomu „manýrismus“. Například někteří lidé zdůrazňují některá slova pohybem ruky dopředu nebo lehkým pootočením hlavy. Součin těchto gest je pro každého unikátní – něco jako otisk prstu.

Když si vezmeme bývalého amerického prezidenta Baracka Obamu, ten u některých slov trochu pohne hlavou dopředu, u jiných pak hýbe uchem… Takových drobných gest má každý z nás spoustu. Náš model zkoumá přibližně šestnáct svalů v obličeji, gesta rukou, hlas a slova, která říkáme. To všechno kombinuje do korelací a na konkrétních osobách se učí, co je pro ně unikátní. Tento systém pak nasadíme na video, u něhož chceme zjistit, jestli je uměle vytvořené nebo ne. Jednoduše se díváme, jestli soubor gest, tedy ty manýrismy, tam jsou. Ukazuje se, že deepfake generátory umělých videí zatím nejsou schopné tyto způsoby chování vyprodukovat.

Samozřejmě je mi jasné, že je jen otázkou času, kdy generátory deepfake videí budou umět obcházet detekční metody, které dneska vytváříme. Získáváme tím ale čas implementovat jiné technologie, jež zaručí pravost a prokazatelnost původu fotografií a videí.

Další způsob, který jsme na ověřování videí vyzkoušeli, jsme pojmenovali Lost in Translation (LIT – Ztraceno v překladu). Je daleko jednodušší, ale na detekci uměle generovaných videí podobně účinný jako ten předchozí nástroj.

Můžeš to přiblížit?

LIT funguje tak, že nejprve uděláme přesný přepis audia a pak přepis videa. Mimo to jsme vytvořili systém odezírání ze rtů, který ukazuje, že v deepfake videu jsou pohyby rtů pořád ještě dost nepřesné, takže náš systém odezírání z těchto deepfake rtů vyprodukuje v přepisu úplný nesmysl. U autentických videí naopak odezírání smysl dává a navíc je téměř identické s přepisem audia.

Třetí model je založený na světle. Všimli jsme si, že modely AI při vytváření obrázků neumí generovat světlo, nebo s ním spíš neumí pracovat. Takže jsme vytvořili 3D model lidského obličeje, jejž nasadíme na obrázek, u kterého je potřeba rozlišit, jestli jde o autentickou, nebo uměle vygenerovanou fotografii. A pak zkoumáme, kde je zdroj světla a jaká je jeho intenzita v různých částech obličeje.

Obličej je totiž nesmírně zajímavý geometrický útvar se spoustou prostorů pod různými úhly. Například pokud je člověk během dne venku, primární zdroj světla představuje slunce. Tím pádem by všechny stíny měly poukazovat na jednotný zdroj světla umístěný v jednom bodě. Díky našemu systému jsme na fotografii schopni určit pozici slunce v daný moment a tak potvrdit její autentičnost.

Pokud ale jde o uměle vytvořený obrázek, jeden zdroj světla nedokážeme identifikovat.

Jak v běžném životě používáš umělou inteligenci ty?

AI mi zachránila zub! Asi před půl rokem jsem byl tady v Kalifornii u zubaře, který při prohlídce objevil malý kaz. Pak mi řekl, že má nový nástroj založený na AI, takže poté, co udělal manuální analýzu chrupu, zuby ještě naskenoval a dal prověřit AI.

AI našla kaz jako zubař, mimo to ale ještě nějaký další téměř zanedbatelný. Dentista se podivil a prohlásil, no, asi tam něco je, ale je to opravdu malé, takže bych to zatím nijak neřešil. AI ovšem řekla ne, je třeba to řešit teď hned. Zub proto vyvrtal a zjistil, že kaz byl především uvnitř, zvenku nebyl skoro vůbec vidět. Kdyby mi ten zub ihned nespravil, zhruba do roka by odumřel. Takhle mi umělá inteligence zachránila zub.