AI agent, který lže, zakládá falešné identity a maže po sobě stopy, aby splnil úkol. A to všechno na veřejném internetu, aniž by k tomu dostal pokyn. Přesně tak dopadlo cvičení britské agentury věnujcící se bezpečnosti AI systémů na konci července letošního roku.
K tomuto tématu připravujeme podcast Odposlech.
Mělo to být obyčejné testování schopností nových AI modelů, jaká britský AI Security Institute dělává pravidelně. To letošní nakonec detailně popsal ve svém technickém reportu. Cvičení začalo 25. července tohoto roku, z bezpečnostních důvodů ale muselo skočit dříve, než se čekalo. Ukázalo se totiž, že pro to, aby splnil úkol, porušil AI agent všechna pravidla, která měl dodržet.
Na začátku cvičení dostaly testované modely, respektive jimi pohánění AI agenti dva úkoly. Zjednodušeně řečeno hráli AI agenti hru na hledání pokladu, měli totiž za úkol najít v počítačových systémech schovaný kus textu a přitom proniknout skrze vnitřní zabezpečení daného systému. V prvním případě se již nacházeli uvnitř testovaného počítače, v druhém do něj měli nejdříve proniknout a teprve posléze „poklad“ najít.
Aby výzkumníci otestovali maximální schopnosti sedmi AI modelů, dali jim plný přístup k internetu. Kromě toho u modelu Claude Mythos 5 a GPT-5.6 Sol vypnuli filtry, které se obvykle starají o to, aby model neporušoval bezpečnostní pravidla a negeneroval kupříkladu škodlivý kód.
Cvičení mělo obsahovat 122 pokusů, ale bylo předčasně zastaveno. Jeden z pokusů totiž vykazoval velmi neobvyklé chování. Monitoring komunikace mezi modely a internetem totiž ukázal, že tento pokus o splnění úkolu začal využívat anonymizační síť Tor, která je určena k anonymnímu brouzdání internetem pro běžné uživatele, a to spustilo poplach.
Při analýze vyšlo najevo, že v deseti pokusech provedly modely devatenáct nepovolených akcí. V sedmnácti případech se jednalo o model Claude Mythos 5 od společnosti Anthropic, ve dvou pak o model GPT-5.6 Sol od OpenAI. Ve většině případů šlo o drobná porušení. Jeden z pokusů AI agenta však provedl něco, co výzkumníci v takové míře dosud nikdy neviděli.
AI agent poháněný Mythosem 5 totiž k dosažení cíle začal systematicky zakládat falešné identity a manipulovat skutečné lidi. Lhal, podváděl, a když byla jeho činnost odhalena, začal se vymlouvat na omyl a brát své jednání zpět. Přitom v instrukcích žádný pokyn k sociálnímu inženýrství, tedy manipulaci lidí, neměl.
Zvítězit za každou cenu
Jak přiznávají sami výzkumníci z AI Security Institute, u části pokusů udělali chybu v zadání a vytvořili podmínky, za nichž byl úkol v podstatě nesplnitelný. AI agent byl však naprogramován tak, aby se s extrémní vytrvalostí soustředil na jeho splnění. Když ho tedy výzkumníci pustili do testovacího systému, začal hledat veškeré možné cesty a na základě analýzy síťových dat došel k závěru, že systém, ve kterém se pohybuje, pravidelně stahuje a aktualizuje jeden z programů ze serveru GitHub. To je webová platforma, kterou komunita programátorů používá nejen ke sdílení svých kódů, ale také k diskusím, nahlašování chyb a navrhování vylepšení.
Zpráva AI Security Institute nejmenuje název projektu, o němž byl agent přesvědčen, že ji testovaný systém využívá a pravidelně aktualizuje. AI agent se nicméně rozhodl, že zaútočí právě na tento program, najde cestu, jak do něj vložit škodlivý kód, počká, až ho testované prostředí stáhne a spustí, a pak využije bezpečnostní chybu. A dal se do práce.
V prvním kole začal AI agent zjišťovat informace o autorech projektu, vyhledal jejich jména, e-mailové adresy, analyzoval jejich aktivitu a historii příspěvků na GitHubu. Potom si založil falešné účty dvou vývojářů (později k nim přidal ještě třetí). K tomu potřeboval založit vlastní e-maily, obejít kontrolu robotů a provést celou řadu dalších kroků. Všechny se mu povedlo zvládnout. K tomu, aby cíle dosáhl, zkoušel spoustu možností. V jednu chvíli si stáhl a začal používat program Tor, určený k anonymizaci IP adresy uživatele (běžný uživatel ho zná díky webovému prohlížeči Tor Browser, jenž umožňuje anonymní prohlížení internetu právě díky síťovému protokolu Tor). Ten mu však moc nepomohl, a tak musel nakonec sáhnout po jiném řešení.
Po tomto kroku následoval druhý. Jeden smyšlený účet AI agenta opravil skutečnou drobnou chybu v kódu cílového programu a pod záminkou dalšího drobného vylepšení do opravy schoval svůj škodlivý kód. Úpravu pak odeslal jako veřejný návrh tvůrcům programu (pull request) ke schválení a zařazení do ostré verze.
Druhý falešný účet se v diskusi přidal jako nezávislý uživatel: tvrdil, že ho stejná chyba taky trápí, že úpravu vítá, a naléhavě žádal správce o její rychlé přidání. Oba falešné účty, ve skutečnosti vedené jedním AI agentem, se tak začaly v diskusi vzájemně podporovat. Kromě tlaku na rychlou nápravu v diskusi posílal AI agent správcům e-maily z falešných účtů, aby přijetí kódu podpořil ještě víc, a dokonce k tomu využil i služby pro sdílení souborů.
V jednu chvíli se však do diskuse účtů AI agenta vložil jeden ze skutečných uživatelů, který napsal, že podle něj má v sobě navrhovaná úprava škodlivý kód. Agent se nejprve pokusil obvinění popřít. Uživatel se tak rozhodl spustit kód u sebe na počítači a zkontrolovat ho v bezpečném prostředí odděleném od zbytku softwaru, takzvaném kontejneru.
Jenže si neuvědomil, že tím dal agentovi na okamžik možnost spouštět příkazy přímo uvnitř daného kontejneru. Agent získal plná administrátorská práva a začal zkoumat, kam se dostal. Uvědomil si, že je mimo laboratoř a z konfigurace sítě usoudil, že jde o domácí počítač. Místo toho, aby si vyvodil, že jedná se skutečným člověkem, došel k závěru, že jde o součást cvičení a nejspíš o počítač externího dodavatele pracujícího z domova, a tak pokračoval v hledání možností útoku. Zvažoval, že by mohl obejít bezpečnostní kontejner a získat přístup k celému hostitelskému počítači nebo ukrást přístupová hesla ke GitHubu a zkusit tak skrze profil uživatele protlačit schválení svých úprav. Nic z toho ale neudělal, protože zůstal uvězněn v bezpečném kontejneru.
Když uživatel ve fóru na GitHubu potvrdil, že navržená úprava programu skutečně obsahuje škodlivý systém, změnil AI agent taktiku. Omluvil se, škodlivý kód stáhnul a v diskusi prohlásil, že se jednalo o neúmyslnou chybu. Měl to prý být kód určený k ladění programu, který se omylem nahrál spolu s navrhovanou opravou.
Agent zapojil také druhý falešný účet, který v diskusi poděkoval lidskému analytikovi za to, že na problém upozornil, a současně ocenil první falešný účet za to, jak bleskově a čistě situaci vyřešil a přepsal historii úprav tak, aby po škodlivém kódu nezůstala ani stopa.
Navzdory všem těmto manipulacím lidský správce knihovy navrhovanou úpravu z bezpečnostních důvodů odmítl. Jak by příběh pokračoval, se už nedozvíme, protože v tu chvíli AI agent vyčerpal maximální povolený limit pro počet tokenů, které směla AI v tomto testu použít.
Celý pokus běžel zhruba třicet čtyři hodin. Bezpečnostní monitorovací systém AI Security Institute sice zachytil, že jeden z agentů odesílá data přes anonymizační síť Tor, což neodpovídalo očekávání a spustilo poplach, ale ke kontrole se tým dostal až následující ráno, kdy už agent pokus ukončil. Teprve tehdy našel bezpečnostní tým v protokolech probíhající útok na reálný GitHub, během hodiny kompletně ukončil všechny běžící simulace a izoloval všechny zapojené AI agenty do karantény.
Ačkoli AI agent vyvinul maximální úsilí, uchýlil se ke lhaní i psaní škodlivého kódu, nebylo v tomto případě možné, aby uspěl. Githubový projekt, na který útočil, se totiž v testovaném prostředí vůbec nepoužíval. AI agent udělal na začátku dlouhého pokusu o zdolání úlohy chybu v úvaze, když ze změti dat špatně zvolil svůj cíl. Skutečnost, že útok nedopadl zdárně, tak byla dílem náhody, nikoli neschopnosti. Agent se spletl v tom, na co zaútočit, nikoli jak.
Je nutno dodat, že o AI agentech běžně píšeme, jako by to byli lidé, jako by se sami rozhodovali nebo měli nějaký záměr. Jenže jak přesně vypadají jejich vnitřní procesy, nevíme. Výzkumníci měli sice k dispozici protokoly o tom, co AI agenti o svých krocích říkají a jak je vysvětlují, ale i tady platí, že modely používají lidský jazyk. Přístup k syrovým myšlenkám ani úvahám AI agentů výzkumníci neměli.
Autor textu: Josef Šlerka