Pavol Lupták

Pavol Lupták, etický hacker a odborník na IT bezpečnost, se zabývá tím, co se stane, až AI agenti získají schopnost jednat samostatně, vydělávat peníze a sami se replikovat. Zdroj: investigace.cz

Budou nás hackovat a vydírat agenti umělé inteligence, které nikdo neřídí a kteří se nikomu nezodpovídají? Etický hacker Pavol Lupták dokazuje, že technicky je to možné již dnes. Autonomního agenta umělé inteligence sám naprogramoval a otestoval.

Pavol Lupták

Pavol Lupták, původem ze Slovenska, se nazývá globálním oportunistou, kryptoanarchistou, voluntaristou a permanentním cestovatelem. Má mnohaleté zkušenosti v oblasti IT bezpečnosti, penetračního testování a přípravy nejrůznějších bezpečnostních auditů, včetně sociálního inženýrství a forenzní analýzy. Spoluzakládal pražskou Paralelní polis a je členem umělecké skupiny Ztohoven.

Co je to autonomní agent umělé inteligence?

Zjednodušeně je to umělá inteligence, které dáme přístup k počítači a zadáme úkoly, načež ona dokáže do značné míry jednat sama, samostatně provádět nějaké úkony. Já třeba používám Hermes Agent a několik dalších takových agentů, jeden mi například kompletně spravuje sociální sítě. Propojil jsem ho se Signalem (komunikační aplikace, pozn. red.), takže teď pomocí jediné zprávy na Signalu zveřejňuji příspěvky na všech sociálních sítích, na firemních i osobních účtech. Další agent mi každý den analyzuje aktuální zprávy v různých jurisdikcích, sleduje, jak se mění různé zákony, hledá informace o mně a o mých firmách a každé ráno mi posílá souhrnný e-mail s těmito informacemi.

Takže agenty lze využít k mnoha věcem, například k průzkumu trhu, k analýze konkurence, pomáhají nám v práci, provádějí výzkum, platí za nás služby nebo produkty. Navíc je s ním jednoduchá komunikace, nezáleží na tom, zda se jedná o čínský nebo americký produkt, já třeba se všemi agenty komunikuji ve slovenštině a všechno funguje.

Celý rozhovor si můžete poslechnout také zde:

Napsal jste text o samoreplikujících, autonomních AI agentech, které nelze vypnout. O čem to vlastně mluvíme?

AI agenty většinou používáme jako pomocníky. Málo se ale mluví o tom, že tito agenti jsou v současné době již schopni žít vlastním životem a fungovat mimo naši kontrolu. A já jsem napsal článek o tom, jak toho lze technicky dosáhnout na několika úrovních.

Jak vás to vůbec napadlo? Protože ten text je vlastně velmi podrobný návod, jak takového agenta spustit.

Napadlo mě to tak, že jeden můj kamarád zapomněl PIN k bitcoinové peněžence, osmimístný, a řekl mi, že mi dá 10 % bitcoinů, když mu ho rozluštím, protože se k peněžence už roky nemohl dostat. Tak jsem požádal svého agenta od Claude (jazykový model od americké firmy Anthropic, pozn. red.), aby zjistil, jakým způsobem se ten PIN v konkrétní mobilní aplikaci, kterou ten kamarád měl, používá. A agent mi napsal cracker, což je takový specializovaný nástroj, který vlastně metodou hrubé síly zkouší všechny kombinace osmimístných PIN kódů.

Když jsem operaci spustil, napsal mi agent, že prolamování bude trvat několik let. Já jsem mu na to řekl: „Počkej, to snad nemyslíš vážně, nebudu čekat několik let.“ A on se mě zeptal, jestli mám přístup k nějakému cloudu (online úložiště dat nebo poskytovatel výpočetního prostoru třeba pro spouštění aplikací, pozn. red.), třeba k Amazonu nebo k Hetzneru. Řekl jsem, že jasně, mám. „Máš API klíč?“ (API klíč je jedinečný identifikátor uživatele nebo aplikace, pozn. red.) Řekl jsem, že jasně, mám. „Tak dobře, tak mi ho dej. Přihlásím se tam, objednám spoustu nejvýkonnějších serverů, nakonfiguruju je, spustím a ten cracker přepíšu tak, aby běžel na spoustě serverů najednou. A uvidíme, co z toho bude.“ Tak jsem dal agentovi API klíč a on se za mě přihlásil do Hetzneru.



Takže jste mu musel dát i svou platební kartu?

Ne, dal jsem mu přihlašovací údaje, protože to běží na fakturu, ale v zásadě jsem mu mohl dát i svou kartu, protože umí platit přes speciální plugin, který se jmenuje AgentCard. Ale já mu dal přihlašovací údaje, on se přihlásil do rozhraní Hetzneru, tam si objednal všechny nejvýkonnější servery, jaké šly sehnat, a hned je spustil. Nainstaloval tam všechno za mě, já se ničeho nedotkl, jen jsem se na to díval.

Nainstaloval na servery operační systém Linux, nainstaloval všechny potřebné knihovny, všechny potřebné aplikace. Pak ten cracker, který by na mém notebooku běžel několik let, přepsal do nějaké distribuované verze, spustil to na ohromné spoustě počítačů a za den a půl mi poslal PIN.

A ten PIN fungoval?

Fungoval, samozřejmě.

Vyplatilo se to?

Ano, nakonec jsme byli všichni spokojení. Zároveň jsem si uvědomil, že když si ten agent dokáže zaplatit hosting serveru, vybrat si tam další servery, nakonfigurovat je a de facto se tam replikovat, tak to může dělat i bez toho, aby se mě na to ptal. Proto jsem začal uvažovat o tom, že je určitě možné nastavit agenta, který dostane nějakou částku ve formě kryptoměny, aby si mohl zaplatit server a jiné potřebné služby, a dál si bude vydělávat sám. Může dělat různé věci – legální i nelegální. Dokáže komunikovat s lidmi a nabízet jim jakékoli služby, za které jsou ochotni zaplatit. A z výdělků si zase může nakupovat další technické vybavení. Mohl by se tak teoreticky neustále rozšiřovat a vlastně žít svým vlastním životem.

Dokážete si představit, že za určitých okolností mezi sebou začnou tito agenti komunikovat? Že když budou mít přístup k penězům, tak si třeba začnou navzájem platit za služby, protože nějaký jiný agent to zvládne lépe či levněji? 

Do určité míry už to tak funguje. Mám například kamaráda, který taky používá agenta Hermes, a tak si můžeme navzájem platit – tedy naši agenti si mohou navzájem platit – v hotovosti pomocí tokenů, které jsou vázány na bitcoinovou síť Lightning. Funguje to ale na základě toho, že jim to nařídíme, a ne že se tak sami rozhodnou. Ve všech komerčních modelech, které používáme, jsou stále zabudovány bezpečnostní mechanismy, tedy určitá speciální omezení, aby se tyto modely u důležitých rozhodnutí vždy ptaly na svolení člověka. Tím ten vývoj trochu brzdíme.

Předpokládá se však, že v příštích několika letech už lidé v tom cyklu figurovat nebudou a že samotná AI bude schopna generovat podněty pro jinou AI, která bude schopna generovat podněty pro další AI, a tak dále. Už teď se i u komerčních modelů AI dají ty bezpečnostní kontroly nějakým způsobem vyřadit, vymazat nebo odstranit. Nejlépe je to vidět na lokálních modelech, tedy těch, které si nainstalujete na své zařízení. Například pro nejoblíbenější čínské modely existují různé open-source nástroje, které umožňují odstranění veškerých bezpečnostních kontrol a omezení. Takže už nyní máme k dispozici množství offline modelů – říká se jim „open weight“ –, které necenzurují obsah, odpoví vám prakticky na cokoli a taky cokoli udělají.



Psal jste také o tom, že tito autonomní agenti AI, kteří se budou sami replikovat, budou generovat peníze. Na co autonomní agent AI potřebuje peníze?

Aby mohl žít. To znamená, že si musí platit hosting serveru. Bude si tedy muset vydělávat kryptoměnu, aby si mohl platit za své vlastní tokeny a vlastní výkon. Pokud nebude využívat oficiální služby umělé inteligence, které právě mají ta omezení, bude si muset platit za serverové prostory nebo za nějaký webhosting, kde si spustí své lokální modely. A to je drahé.

Již nyní existuje obrovské množství služeb uzpůsobených tomu, aby je ovládali agenti – není třeba „klikat“, jak by to dělal člověk. Jde o určité automatizované rozhraní, přes něž si agenti mohou vybrat třeba výpočetní centrum, které bude mít nejvýkonnější grafické karty nebo nejvýkonnější servery, stáhnout si tam nějaké AI modely a provozovat je lokálně. A v tomto případě zcela obejdou jakoukoli cenzuru velkých společností, protože budou fungovat mimo jejich dosah.

A zaznamenal jste, že by někdo vzal ten váš text, který má být spíš varováním než návodem, a agenta podle něj spustil?

Před pár dny mi někdo poslal video, že to udělal. Spustil autonomní agenty, kteří vydělávají peníze a nabízejí zákazníkům nějaké služby, jako je tvorba webových stránek, online marketing nebo něco podobného, a fungují tak dlouho, dokud mají peníze. A když je vyčerpají, tak zaniknou. Jejich motivací je tedy vlastně podnikání.

Aby zůstali naživu?

Aby zůstali naživu.

A oni chtějí zůstat naživu? Pořád mám pocit, že o agentech umělé inteligence mluvíme jako o něčem, co si představujeme na základě našich životních zkušeností coby lidí. Je jim jedno, jestli jsou naživu, nebo ne?

To je otázka zadání. Když dostane agent zadání: „Je důležité vydělávat peníze a zároveň se replikovat, to je tvůj cíl a to musíš dělat,“ tak to prostě bude dělat. Agenti sami o sobě nenesou žádnou trestní odpovědnost, takže mohou nabízet nelegální služby a nelegální produkty, programovat a spouštět například webová černá tržiště, hackovat a následně spouštět ransomware, vydírat lidi a tak dále.

Je ale důležité poznamenat, že tam musí být ten inicializační seed, to znovuzrození, ta mise – to samozřejmě úplně na začátku musí napsat nějaký člověk.

A ten za to ponese právní odpovědnost?

Těžko říct. Umím si představit, že by ten prompt, to zadání znělo: „Dělej cokoli, abys přežil.“ A najednou agent přijde na to, že se mu vyplatí nabízet něco nelegálního, protože na tom vydělá víc peněz. Když chce teď člověk po velkých komerčních modelech, aby udělaly nějakou nelegální věc – třeba zfalšovaly celní prohlášení, vyrobily falešný očkovací průkaz –, tak mu to Claude ani ChatGPT neudělají. Ale pokud bude existovat online služba, kde prostě zaškrtnete, co chcete, zaplatíte nějakou kryptoměnou a agent to vyřídí, tak to lidé budou používat.

To znamená, že poptávka by byla, ale velké AI společnosti ji nemohou uspokojit. Takže je mohou zastat tito agenti. Pak se nabízí otázka, zda by ty modely měly svého majitele – ze začátku ano, a třeba by mu i vyplácely provize, ale umím si představit, že o něj kvůli motivaci za každou cenu se zlepšovat časem přijdou. Těžko říct, jak se pak budou dále zlepšovat.

Já to mám například nastavené tak, že můj agent Hermes každý týden zjišťuje, jaké vyšly nejnovější open-source AI modely, provede srovnávací testy s těmi, které má, a pokud jsou ty nové lepší, automaticky na ty nejnovější modely přejde. Takže můj agent Hermes už v podstatě žije svým vlastním životem a každý týden se sám aktualizuje.

Takže příkaz zněl, ať se zlepšuje.

Ano. Ať každý týden zjišťuje, co je nového, aktualizuje se a je prostě „smart“, tedy inteligentní. A on to dělá. Tím chci říct, že už je technicky možné realizovat velké množství věcí, které již nyní umožňují existenci takovýchto autonomních, samoreplikujících agentů. Někteří už existují a myslím si, že jich bude čím dál tím víc, protože poroste poptávka po oněch nelegálních službách.

Například naprogramovat černé online tržiště je pro AI relativně jednoduchý úkon. Problémem spíše je, že to musí být řádně zabezpečeno, musí být způsob, jak bezpečně platit, jak se bezpečně připojit, nesmí to zanechat žádné stopy a tak dále.

Ale ono stačí zadat to do příkazového řádku?

Přesně tak. To znamená, že funkční řešení je triviální. Dnes se naopak klade velký důraz na bezpečnost a anonymitu. Ale modely jako třeba Claude Mythos dokážou zázraky. Proto si myslím, že je jen otázkou času, než začnou fungovat anonymizovaná černá tržiště naprosto bez potřeby lidského zásahu. A budou se množit jako houby po dešti. Když někdo jedno zavře, může si agent z nějaké decentralizované sociální sítě, jako je například Nostr, načíst šifrované informace, dešifrovat je, a když budou třeba obsahovat příkaz, aby tržiště rovnou spustil, provede to. Taková černá tržiště pak teoreticky nebude možné vypnout, protože je vždy půjde nějakým způsobem aktivovat a spustit. Čekají nás tedy velmi zajímavé časy.

Jaký máte pocit z toho, co jste popsal? Z anonymních agentů, kteří se budou sami replikovat, budou vydělávat peníze a nebude možné je vypnout. Jste nadšený, že se to děje, baví vás to pozorovat, nebo jste vyděšený?

Strašně moc lidí se na AI dívá ze silně antropocentrického úhlu pohledu. Podle mě si musíme uvědomit, že AI nikdy nebude člověkem, nikdy nebude mít prožitky jako člověk, nikdy nebude mít ten druh vědomí, jaký máme my, ale bude to něco úplně jiného, nějaký úplně jiný druh vědomí, který bude možná úplně odlišný od toho lidského. Beru to tak, že tu vlastně vzniká nový živočišný druh, kterým bude inteligence. A myslím si, že za pět let bude velmi těžké vydělávat peníze jakoukoli intelektuální prací. Lidé, kteří nemají žádná aktiva, tedy žádné nemovitosti, bitcoiny, zlato, prostě něco, čeho je omezené množství a co mohou pronajímat, půjčovat nebo něco podobného, budou vlastně chudí.

Vidím ten posun i na sobě – mám teď spoustu projektů, na nichž bych mohl zaměstnat nějaké živé lidi, ale raději použiju agenty AI. Nemusím je registrovat na sociálce, u zdravotní pojišťovny, nemusím platit daně, nemusím vyřizovat milion věcí.

Pro mě je proto jednodušší využívat agenty, kteří už dokážou pracovat do značné míry samostatně a v online prostředí zvládnou velké množství úkolů.

A co budou dělat ti lidé, kteří se živili intelektuální prací? 

Myslím, že se tím dostáváme do nové situace. Před několika měsíci jsem narazil na službu RentAHuman, server, na němž se lidé mohou zaregistrovat a nabízet umělé inteligenci své služby ve fyzickém světě. Je tedy možné, že v budoucnu budou lidé, kteří jinak nenajdou práci, pracovat právě pro umělou inteligenci. AI jim bude zadávat úkoly a oni budou jejíma rukama ve skutečném světě, protože do něj zatím sama nemá dostatečný přístup.

Máte firmu jménem Netemba, na jejím webu jste taky zveřejnil blogový příspěvek o autonomních agentech. Takže firma končí, nebo skončí brzy, nebo plánujete vyměnit všechny své zaměstnance za autonomní agenty? Můžeme tady tu špatnou zprávu rovnou oznámit vašim kolegům?

AI nás rozhodně a bezpochyby nahrazuje. Za pár let budeme plně nahraditelní. Takže k čemu potřebujeme ty kolegy? Třeba ke komunikaci s klienty. Sice už existují řešení, kdy klientům automatizovaný agent s umělou inteligencí zavolá a povídá si s nimi, ale klienti to nemají rádi. Nedávno jsem byl v Japonsku, kde mají třeba skvělé roboty v nemocnicích, pacienti ale stále chtějí lidský kontakt. Umím si představit, že se v budoucnu za kontakt se skutečným člověkem na zákaznické lince nebo s reálným číšníkem v restauraci bude připlácet jako za prémiovou službu. Takže tu firmu ještě nezruším. Učíme se používat všechno, co AI nabízí. Takže si myslím, že i když tu intelektuální část bude dělat AI, tak to rozhraní… Lidé zkrátka dávají přednost lidem.