Umělá inteligence stojí na čipech, datacentrech a energii. Významnou část jejího financování zajišťuje šejk Tahnún, kterého mimo Emiráty zná málokdo. Vede tamní bezpečnost, spravuje majetek odhadovaný na 32,6 bilionu korun a jeho firma G42 je významným partnerem OpenAI, xAI i Anthropic. 

Tento text si můžete poslechnout i v audioverzi. Audiočlánky pro vás načítá Renata Klusáková.
Audioverze vybraných článků investigace.cz odebírejte zde.

Tahnún bin Zájid Ál Nahján je bratrem prezidenta Spojených arabských emirátů – to je na něm ale ta nejméně zajímavá věc. Britský deník The Guardian v rozsáhlém profilu popisuje muže, který se po studiích ve Spojených státech vrátil do Abú Dhabí, kde rozjel rodinný byznys a masivní investice do zahraničí, šéfuje bezpečnostním složkám, které potlačují jakoukoli opozici, a jeho posledním projektem je výstavba obrovských datacenter a investice do největších AI firem na světě. 

Tahnúnova firma G42, kterou založil před osmi lety, buduje v Abú Dhabí obří datacentrum s plánovaným příkonem 5 GW. Zároveň pomáhá financovat výstavbu nových datacenter v USA za zhruba 10,9 bilionu korun (500 miliard dolarů) a koupila několik stavebních firem, které se na ní podílejí. Microsoft do ní investoval zhruba 32,6 miliardy korun (1,5 miliardy dolarů).

Americká administrativa, zřejmě i díky náklonnosti Donalda Trumpa k Tahnúnovi, zvrátila zákaz exportu čipů do Spojených arabských emirátů (SAE) a loni povolila vývoz stovek tisíc pokročilých čipů, část z nich podle Guardianu míří právě k G42. Deník také uvádí, že G42 vznikla z pozůstatků firmy DarkMatter, která provozovala sledovací operace zaměřené i na disidenty, novináře a politiky v zahraničí. Emiráty ke špehování měly používat mimo jiné spyware Pegasus. 

G42 tvrdí, že její počátky s kybernetickou špionáží nesouvisely a že neprovádí ani neumožňuje protiprávní sledování. Firma původně vznikla jako technologická společnost, která provozuje datacentra s výkonnými servery pro provoz modelů umělé inteligence. 

Přečtěte si

Vlády špehovaly spywarem novináře, aktivisty i disidenty

Peníze od Microsoftu

Podle Guardianu Tahnún koncem desátých let přetvořil zbytky DarkMatter v technologickou firmu Group 42, zkráceně G42. Její generální ředitel Peng Xiao dříve vedl klíčovou jednotku DarkMatter a někdejší šéf firmy Karim Sabbagh dnes řídí jednu z hlavních dceřiných společností G42. Firma vazby na kybernetickou špionáž popírá, nicméně jedním z jejích prvních produktů byla aplikace ToTok, kterou New York Times označil za spyware.

Microsoft do společnosti G42 investoval zhruba 34,9 miliardy korun a jeho viceprezident Brad Smith sedí v její správní radě. G42 a Tahnúnův investiční fond jsou podle Guardianu přímými investory nebo významnými partnery Anthropic, xAI a OpenAI. Šéf OpenAI Sam Altman označuje Tahnúna za „drahého osobního přítele“. G42 zároveň v SAE staví datové centrum o výkonu 5 GW, tedy zhruba dvaapůlkrát víc, než vyrábí Temelín. Jde o největší takový projekt mimo USA. 

Americké tajné služby v roce 2022 varovaly před pokusy Abú Dhabí ovlivňovat zahraniční politiku USA. Bidenova administrativa kvůli vazbám SAE na Čínu omezila vývoz pokročilých čipů do země, Donald Trump jej loni znovu povolil. Část čipů podle Guardianu míří k G42. Rozhodnutí přišlo dva týdny poté, co jeden z Tahnúnových investičních nástrojů koupil kryptoměnu firmy World Liberty, kterou vlastní Trumpova rodina, za zhruba 43,7 miliardy korun. Necelý měsíc před Trumpovou druhou inaugurací Tahnún koupil také 49 % firmy. Bílý dům i World Liberty souvislost mezi investicemi a čipy popírají.

Cesta k moci

V roce 1993 zhruba 80 tisíc lidí sledovalo v televizi první turnaj UFC, tedy soutěže v MMA zápasení. Byl mezi nimi i student obchodních studií v San Diegu, který se krátce nato přihlásil na akademii brazilského jiu-jitsu a představil se jako Ben. Podle spolucvičence Kida Peligra, později známého bojovníka, chodil Ben v kraťasech a žabkách, seděl v rohu a skoro nemluvil. Peligro ho měl za komorníka nebo bodyguarda bohatého Angličana, který ho občas doprovázel.

Po více než roce Ben oznámil, že se vrací do Abú Dhabí a bere s sebou zakladatele jiu-jitsu akademie Nelsona Monteira. Na tréninky Ben pozval i Peligra s manželkou. Když do SAE dorazili, začali si pomalu uvědomovat, kdo Ben ve skutečnosti je. Na billboardech i bankovkách viděli tvář Benova otce a „trénink“ se konal v jednom z rodinných paláců.

Tichý student, který se představoval jako Ben, byl šejk Tahnún bin Zájid Ál Nahján. Je jedním ze šesti bratrů, kterým se říká Bani Fátima, „synové Fátimy“, údajně nejoblíbenější manželky šejka Zájida, prvního vůdce SAE po vyhlášení nezávislosti na Británii v roce 1971. Dnešním prezidentem země je nejstarší ze šesti bratrů, Muhammad bin Zájid.

Po návratu do Abú Dhabí v roce 1995 začal Tahnún spravovat otcův soukromý úřad, který měl na starosti paláce, farmy a zahraniční nemovitosti, například v londýnském Berkeley Square. Koncem devadesátých let založil investiční skupinu Royal Group, jejíž aktiva Guardian odhaduje na 6,3 bilionu korun (300 miliard dolarů).

Dnes podle deníku Guardian vede Tahnún největší státní investiční fond SAE, banku First Abu Dhabi Bank a klimatický fond Alterra. Ve Spojeném království Tahnún také kontroluje poskytovatele zdravotní péče, realitní společnosti a podíly ve veřejných službách včetně největší britské vodárenské společnosti Thames Water. Celé Tahnúnovo impérium odhaduje Guardian na 31,4 bilionu korun, což odpovídá ročnímu HDP Indonésie nebo Turecka. 

Emirátský špionážní aparát

Od roku 2013 byl Tahnún zástupcem národního bezpečnostního poradce, o dva roky později začal funkci zastávat sám. SAE mají jen 1,4 milionu domácích obyvatel, což je zhruba 11 % všech lidí, kteří v zemi žijí. Zbytek tvoří cizinci. Podle Guardianu proto země jen těžko postaví velkou armádu a bez cizinců by nemohla fungovat. Tuto zranitelnost se od nultých let snažila vyvážit zpravodajskou činností a špionážními technologiemi. Koncem prvního desetiletí uzavřela dohodu s bývalým americkým koordinátorem boje proti terorismu Richardem Clarkem.

Ten v Abú Dhabí založil tajnou jednotku s krycím názvem Project Raven, jejíž tým tvořili převážně bývalí pracovníci americké Národní bezpečnostní agentury (NSA), tedy zpravodajské služby, která se zabývá mimo jiné sledováním a odposlechy. Clarke později uvedl, že motivací byl boj proti terorismu.

Přečtěte si

Projekt Pegasus: Napíchnutý Macron 

Project Raven se postupně změnil v rozsáhlou digitální odposlechovou operaci, která mířila i na lidi podezřelé z nepřátelství vůči režimu. V roce 2011, po arabském jaru, podepsala skupina emirátských soudců, právníků a novinářů petici za demokratické reformy včetně voleného parlamentu. Většina signatářů byla během dvou let zatčena. 

Tahnún se podle Guardianu podílel i na normalizaci vztahů s Izraelem. Izraelská zpravodajská služba podle deníku nabídla Emirátům přístup k Pegasu, spywaru izraelské firmy NSO Group, který do zařízení dokáže proniknout i bez vědomí uživatele. Cílem špehování spywarem byli aktivisté, novináři a politici v zahraničí. Deník jmenuje britskou právničku Fionu Shackleton, která zastupovala bývalou manželku vládce Dubaje, nebo tehdejšího britského premiéra Borise Johnsona.

V roce 2019 operaci Project Raven odhalila agentura Reuters ve spolupráci s kanadskou skupinou Citizen Lab. V USA následně začala soudní řízení proti americkým dodavatelům projektu, tedy lidem, kteří pro Raven pracovali. Tahnún podle Guardianu během následujícího roku DarkMatter oficiálně zrušil.

Schránka 5151

Britský akademik Matthew Hedges odjel do SAE v dubnu 2018 za výzkumem národní bezpečnostní strategie. Guardianu popsal, že ho při odjezdu ze země na dubajském letišti zadrželi maskovaní ozbrojenci. Popisuje měsíce vazby, výslechy až patnáct hodin denně a nucené podávání léků. Po pětiminutovém jednání bez obhájce ho tamní soud v listopadu 2018 odsoudil na doživotí. Po zásahu se strany Británie byl později omilostněn. 

Na otázku, kdo za jeho zadržení nese odpovědnost, vyjmenoval Hedges nejprve nižší funkce bezpečnostního aparátu a pak řekl, že nad nimi stojí Tahnún. Vláda SAE v prohlášení z roku 2023 uvedla, že Hedges „obdržel zcela řádnou péči“ a nebyl mučen ani mu mučení nehrozilo.

Přečtěte si

Dubaj jako útočiště zločinců, zkorumpovaných politiků a kontroverzních postav

Inženýr a básník Ahmed Mansúr byl jedním z těch, kteří v roce 2011 podepsali petici za volený parlament. Téhož roku byl zatčen mimo jiné za urážku rodiny Ál Nahjánů, ale tehdy byl ještě omilostněn. Podle Guardianu se později data z jeho elektronických zařízení po otevření škodlivé přílohy odesílala na server registrovaný na poštovní schránku 5151 v Abú Dhabí. Na adresu Tahnúnovy osobní kanceláře. V roce 2017 byl Mansúr odsouzen na deset let za urážku „postavení a prestiže SAE“ a od té doby je ve vazbě ve věznici al-Sadr, zhruba šestnáct kilometrů od místa, kde roste datové centrum G42.

Hosté v Abú Dhabí

Tahnún 27. února předsedal zasedání správní rady investičního fondu G42. Hned druhý den začaly americko-izraelské útoky na Írán. Írán v odvetě zasáhl dvě datacentra v SAE a zveřejnil seznam „legitimních cílů“, na němž byly i emirátské kanceláře Amazonu, Googlu a Microsoftu.

Podle agentury Reuters Tahnún v následujících měsících hostil představitele íránských Revolučních gard ve svém domě v Abú Dhabí. V polovině června údajně uzavřel dohodu, která zahrnovala miliardy dolarů pro íránskou vládu a zastavila útoky na SAE. O několik týdnů později, v den, kdy Donald Trump oznámil konec příměří s Íránem, americké ministerstvo obchodu potvrdilo zrušení posledních exportních omezení na prodej pokročilých čipů do Abú Dhabí.

Přečtěte si

Dubai Unlocked: Jak se špinavé peníze nalévají do dubajských nemovitostí

Autorka textu: Sofia Špirková

The post Bratr prezidenta Spojených arabských emirátů buduje impérium kolem AI. Jeho firma má kořeny ve špionážní organizaci appeared first on investigace.cz.

Když si inženýři vyrábějící čipy hledají na Tchaj-wanu zaměstnání, musejí si dávat pozor, komu na nabídku práce kývnou. Může se jim totiž stát, že začnou pracovat pro čínskou firmu fungující pod falešnou identitou. Čínské společnosti na ostrově kvůli obavě z národní bezpečnosti až na výjimky podnikat nesmějí.

Tento text si můžete poslechnout i v audioverzi. Audiočlánky pro vás načítá Renata Klusáková.
Audioverze vybraných článků investigace.cz odebírejte zde.

Přesně to se přihodilo mladému tchajwanskému inženýrovi na jaře 2020, kdy získal zaměstnání v údajně americké firmě Blue Ocean Smart System s pobočkou ve městě Hsinchu, místním hubu čipových a high-tech firem. V zaměstnání se mohl věnovat designu čipů určených pro vývoj umělé inteligence a oproti průměru měl dostávat až dvojnásobný plat, popisuje jeho příběh investigativní server Rest of World, jeho identitu ale nechává utajenou.

Po pár měsících si však inženýr uvědomil, že ani jedinkrát nekomunikoval se svými americkými kolegy. Místo toho na veškerých poradách jednal s manažery a inženýry z pobočky v čínském městě Nan-ťing, se kterými sdílel také své designy čipů. Zároveň se mu nepodařilo dohledat žádné informace o americké kanceláři firmy.

Razie ve firmě

Jeho podezření se potvrdilo v srpnu 2021, kdy tchajwanští vyšetřovatelé provedli ve firmě razii kvůli podezření z nelegálního podnikání v zemi. Ukázalo se totiž, že za Blue Ocean Smart System ve skutečnosti stojí čínští investoři.

Číňané na Tchaj-wanu nemohou jen tak založit firmu nebo otevřít podnik. Všichni zájemci, včetně prodejců jídla nebo jiných potenciálně neproblematických služeb, mají povinnost podat speciální žádost k tchajwanské vládě, která ji schvaluje.

Důvodem je politické napětí mezi vládami – čínská vláda v Pekingu označuje Tchaj-wan za svou odtrženou provincii, ačkoli ostrov má vlastní, demokraticky zvolenou vládu a čínská komunistická strana ostrov nikdy nekontrolovala. Čínský prezident Si Ťin-pching přesto mluví o nutnosti spojení obou území, a to i za cenu použití násilí. Jeho armáda podle informací amerického námořnictva dostala před lety příkaz, aby byla připravena na případný útok v roce 2027. Do tchajwanských vod a vzdušného prostoru zároveň stále častěji vstupují čínské armádní stroje – jen toto úterý jich hranici překročilo 13, v pondělí to bylo 11, uvádí tchajwanské ministerstvo zahraničí.

Jak ale uvádí Rest of World, který se na systém falešných firem, za nimiž jsou ve skutečnosti Číňané, zaměřil ve své nové investigaci, tak společnosti, které potvrzení nedostanou (například kvůli napojení na armádu), toto pravidlo často obcházejí. Vytvoří si fiktivní společnost nebo se zaregistrují přes někoho, kdo nemá čínské občanství.

Přečtěte si

Větrníky, zemní plyn, ale i budovy Evropské komise: Co vlastní čínský státní fond v Evropě?

Speciální vyšetřovací tým

Tchajwanský úřad pro vyšetřování MJIB proto v roce 2020 založil speciální oddělení, které se má věnovat pouze čínským vazbám na tchajwanský technologický průmysl. Tchaj-wanu totiž nejde jen o obchodní tajemství, ale také o národní bezpečnost. Čipy by teoreticky měly ostrovu poskytovat ochranu nebo minimálně pomoc spřátelených zemí, protože na polovodičích z Tchaj-wanu stojí světová ekonomika – vyrábí se zde totiž 60 % veškerých světových čipů a až 90 % těch nejpokročilejších. Tchajwanští odborníci jsou zásadní také pro další vývoj umělé inteligence.

„Většina gigantů v navrhování AI čipů sídlí ve Spojených státech nebo v Číně. Ale Tchaj-wan je jediná země, která může nápady těchto firem převést do fyzického světa,“ líčí pro redakci investigace.cz Min-yen Chiang, zástupce ředitele programu ekonomické bezpečnosti v tchajwanském think tanku DSET. „Nezáleží tedy na tom, kdo vyhraje AI závod, protože Tchaj-wan bude stále jediný, kdo dokáže kohokoli z nich podpořit. To je důvod, proč Tchaj-wan zaujímá kritickou pozici,“ doplňuje.

Za posledních šest let odhalili vyšetřovatelé 166 takových případů a dalších 67 případů se týkalo porušení obchodního tajemství, jak ukázaly dokumenty, které od MJIB získal server Rest of World. Mezi nimi byla i společnost Xiaomi, která si na ostrově v roce 2019 nezákonně otevřela laboratoř na vývoj čipů do smartphonů, kde zaměstnala dvacet místních inženýrů. V roce 2024 za to byli odsouzeni dva lidé z vedení.

Vyšetřovatelé dále letos v lednu vydali zatykač na Petea Laua, zakladatele čínské firmy OnePlus, protože měl nezákonně otevřít pobočku firmy a najmout přes sedmdesát inženýrů. Obviněni byli také dva Tchajwanci, kteří mu údajně pomáhali.

Přečtěte si

Čína, kam až dohlédneme. Jak české státní instituce používají rizikové čínské technologie

Pod společností ze Samoy se na Tchaj-wanu zaregistrovala také největší čínská firma na výrobu čipů SMIC. Kvůli jejímu napojení na čínskou Lidově osvobozeneckou armádu ji v prosinci 2020 umístily Spojené státy na obchodní blacklist, což výrazně omezilo schopnost společnosti obchodovat s americkými partnery a zamezilo jí to v přístupu k pokročilým čipům, které by mohly být použity k navádění střel, píše německý server Deutsche Welle.

Pokud by byl některý z případů vyhodnocen jako porušení tchajwanského zákona o národní bezpečnosti, hrozí obviněným trest až dvanácti let vězení a pokuta dosahující až sta milionů tchajwanských dolarů, v přepočtu 65,8 milionu korun.

Vyšetřování pokračuje i nadále – jen během července a srpna proběhly tři razie na technologické firmy podezřelé z propojení s Čínskou lidovou republikou. Zatím poslední proběhla na začátku srpna v osmnácti společnostech.

Ostrov nejlepších talentů

Důvod, proč se čínské firmy zaměřují na tchajwanské odborníky, je podle Min-yen Chianga z DSET jednoduchý. Pro místní polovodičový průmysl připravuje odborníky už desítky let vzdělávací systém a roli hraje i specifický ekosystém. „Jenom inženýři na Tchaj-wanu vědí, jak připravit určité postupy v různých stádiích celého výrobního procesu. Mají know-how na to, jak řídit celý ekosystém, a spolu s dalšími odborníky dokážou najít řešení na malé i větší problémy,“ vysvětluje.

„Čína se dlouho snaží kopírovat tchajwanský model a dohnat místní čipovou technologii. K tomu ale potřebuje hardware, vybavení a také inženýry, kteří vědí, jak pracovat se specifickými stroji. Takže je pro Čínu celkem přirozené, že se snaží nalákat tchajwanské talenty,“ domnívá se. Na Tchaj-wanu se také soustřeďují experti na design čipů, které jsou podle Chianga dalším cílem čínských náborářů.

„Téměř každý v odvětví zná alespoň z doslechu někoho, kdo byl osloven nebo pracoval pro čínské firmy,“ doplňuje rozsah problému pro Rest of World John Chen z tchajwanské firmy na design čipů MicroIP. „Nabízené výplaty jsou často pětkrát vyšší než na Tchaj-wanu… Slyšel jsem, že později stouply i na desetinásobek. Mám několik přátel, kteří kvůli tomu za prací do Číny odešli,“ dodává.

Tchaj-wan není jediným cílem

Podobně Čína postupuje také za hranicemi Tchaj-wanu. V Nizozemí například řeší akvizici čipového výrobce Nexperia čínskými investory a ve Spojených státech se zabývají čínskou firmou Inspur Group, která byla úřady označena za bezpečnostní riziko a dostala se kvůli tomu na černou listinu. Změnila si proto název na Aivres, pod nímž posílala pokročilou technologii včetně čipů od společnosti Nvidia, které by se do ČLR kvůli americkým sankcím dostat neměly, do čínských datacenter rozmístěných v jihovýchodní Asii. Ty využívají společnosti jako Alibaba nebo ByteDance, stojící za sítí TikTok, píše americký deník New York Times.

Jinou strategii mají čínští rekrutéři v Jižní Koreji. Tam podle Nicholase Eftimiadese, který pracoval na americkém ministerstvu obrany a nyní působí v think tanku Atlantic Council, stojí před technologickými firmami a přímo oslovují pracovníky, kteří z nich odcházejí.

Co na to Čína?

Server Rest of World zkoušel obviněné čínské firmy oslovit, žádná ale nereagovala. Pro čínská média se v roce 2022 vyjádřil Wayne Taj, výkonný ředitel firmy VeriSilicon, v jejíž dceřiné firmě na ostrově podnikli tchajwanští vyšetřovatelé ve stejném roce razii kvůli podezření, že firma nemá povolení k podnikání. Taj uvedl, že kancelář sloužila jen k prodeji, žádné inženýry nezaměstnala a vybavení na testování čipů nekoupila.

Přečtěte si

Zpráva Europolu: Česko bojuje s kybernetickými útoky a obcházením sankcí

Čínská vláda už v roce 2020 kritizovala zřízení vyšetřovacího týmu jako politickou manipulaci tehdy i nyní vládnoucí Demokratické pokrokové strany, která má k vládě v Pekingu zdrženlivý vztah a chce zachovat současný stav, kdy je Tchaj-wan de facto autonomní zemí nezávislou na Čínské lidové republice. Čínská vláda ale mluví o potřebě sjednocení i za cenu použití násilí a o politicích strany se vyjadřuje jako o separatistech.

Tchajwanský polovodičový průmysl se navíc zaměřil na bezpečnost v době čínské desetiletky nazývané Made in China 2025 z roku 2015, která měla ze země do loňského roku udělat jednoho z lídrů moderních technologií. Jeden z cílů se zaměřoval právě i na čipy – do roku 2025 si Čína chtěla vyrábět 70 % čipů pro domácí užití. V podobné době, v roce 2019, zakázaly Spojené státy společnosti Huawei přístup k pokročilým čipům.

Che Chuej, která vede čínskou poradní firmu Omdia na výzkum čipů, uvádí, že nabírání zahraničních talentů začalo už v roce 2014. „Všichni se řídili tržními principy. Nemyslím si, že by přemýšleli nad geopolitikou – jde prostě o to, jak právní systém dané lokality tyto činnosti vykládá,“ zhodnotila kroky čínských rekrutů pro Rest of World.

„Mnoho západních a tchajwanských polovodičových společností také stále působí v Číně a zaměstnává místní pracovníky, ne?“ dodala s tím, že tato praxe ale v posledních třech až pěti letech kvůli právním omezením a vlastním talentům klesá. „Čínský polovodičový průmysl začal mít v posledních dvou letech vlastní talenty,“ uvádí Che. Přesto se mluví o tom, že Čína je ve vývoji nejpokročilejších čipů tchajwanské společnosti TSMC tři až deset let pozadu.

Autorka textu: Jana Václavíková

The post Čínští výrobci čipů nesmějí podnikat na Tchaj-wanu. Vydávají se proto za zahraniční firmy a lžou svým zaměstnancům appeared first on investigace.cz.

Měla to být rutinní zkouška hackerských dovedností velkých AI modelů, pokus britského AI Security Institutu ale musel být na konci července předčasně ukončen. Jeden z testovaných AI agentů se místo úprav softwaru pustil do přesvědčování lidí, lhaní, manipulací a následně i zametání stop. Co nám to říká o současných schopnostech generativních jazykových modelů? S komentářem přišel do studia Josef Šlerka. Ptá se Petr Gojda.

The post Podcast Odposlech: Sociální inženýrství v podání AI. Překročili jsme nebezpečnou hranici appeared first on investigace.cz.

AI agent, který lže, zakládá falešné identity a maže po sobě stopy, aby splnil úkol. A to všechno na veřejném internetu, aniž by k tomu dostal pokyn. Přesně tak dopadlo cvičení britské agentury věnujcící se bezpečnosti AI systémů na konci července letošního roku. 

K tomuto tématu jsme vydali podcast Odposlech:

Mělo to být obyčejné testování schopností nových AI modelů, jaká britský AI Security Institute dělává pravidelně. To letošní nakonec detailně popsal ve svém technickém reportu. Cvičení začalo 25. července tohoto roku, z bezpečnostních důvodů ale muselo skočit dříve, než se čekalo. Ukázalo se totiž, že pro to, aby splnil úkol, porušil AI agent všechna pravidla, která měl dodržet.

Na začátku cvičení dostaly testované modely, respektive jimi pohánění AI agenti dva úkoly. Zjednodušeně řečeno hráli AI agenti hru na hledání pokladu, měli totiž za úkol najít v počítačových systémech schovaný kus textu a přitom proniknout skrze vnitřní zabezpečení daného systému. V prvním případě se již nacházeli uvnitř testovaného počítače, v druhém do něj měli nejdříve proniknout a teprve posléze „poklad“ najít.

Aby výzkumníci otestovali maximální schopnosti sedmi AI modelů, dali jim plný přístup k internetu. Kromě toho u modelu Claude Mythos 5 a GPT-5.6 Sol vypnuli filtry, které se obvykle starají o to, aby model neporušoval bezpečnostní pravidla a negeneroval kupříkladu škodlivý kód.

Cvičení mělo obsahovat 122 pokusů, ale bylo předčasně zastaveno. Jeden z pokusů totiž vykazoval velmi neobvyklé chování. Monitoring komunikace mezi modely a internetem totiž ukázal, že tento pokus o splnění úkolu začal využívat anonymizační síť Tor, která je určena k anonymnímu brouzdání internetem pro běžné uživatele, a to spustilo poplach.

Při analýze vyšlo najevo, že v deseti pokusech provedly modely devatenáct nepovolených akcí. V sedmnácti případech se jednalo o model Claude Mythos 5 od společnosti Anthropic, ve dvou pak o model GPT-5.6 Sol od OpenAI. Ve většině případů šlo o drobná porušení. Jeden z pokusů AI agenta však provedl něco, co výzkumníci v takové míře dosud nikdy neviděli.

AI agent poháněný Mythosem 5 totiž k dosažení cíle začal systematicky zakládat falešné identity a manipulovat skutečné lidi. Lhal, podváděl, a když byla jeho činnost odhalena, začal se vymlouvat na omyl a brát své jednání zpět. Přitom v instrukcích žádný pokyn k sociálnímu inženýrství, tedy manipulaci lidí, neměl.

Zvítězit za každou cenu

Jak přiznávají sami výzkumníci z AI Security Institute, u části pokusů udělali chybu v zadání a vytvořili podmínky, za nichž byl úkol v podstatě nesplnitelný. AI agent byl však naprogramován tak, aby se s extrémní vytrvalostí soustředil na jeho splnění. Když ho tedy výzkumníci pustili do testovacího systému, začal hledat veškeré možné cesty a na základě analýzy síťových dat došel k závěru, že systém, ve kterém se pohybuje, pravidelně stahuje a aktualizuje jeden z programů ze serveru GitHub. To je webová platforma, kterou komunita programátorů používá nejen ke sdílení svých kódů, ale také k diskusím, nahlašování chyb a navrhování vylepšení.

Zpráva AI Security Institute nejmenuje název projektu, o němž byl agent přesvědčen, že ji testovaný systém využívá a pravidelně aktualizuje. AI agent se nicméně rozhodl, že zaútočí právě na tento program, najde cestu, jak do něj vložit škodlivý kód, počká, až ho testované prostředí stáhne a spustí, a pak využije bezpečnostní chybu. A dal se do práce.

V prvním kole začal AI agent zjišťovat informace o autorech projektu, vyhledal jejich jména, e-mailové adresy, analyzoval jejich aktivitu a historii příspěvků na GitHubu. Potom si založil falešné účty dvou vývojářů (později k nim přidal ještě třetí). K tomu potřeboval založit vlastní e-maily, obejít kontrolu robotů a provést celou řadu dalších kroků. Všechny se mu povedlo zvládnout. K tomu, aby cíle dosáhl, zkoušel spoustu možností. V jednu chvíli si stáhl a začal používat program Tor, určený k anonymizaci IP adresy uživatele (běžný uživatel ho zná díky webovému prohlížeči Tor Browser, jenž umožňuje anonymní prohlížení internetu právě díky síťovému protokolu Tor). Ten mu však moc nepomohl, a tak musel nakonec sáhnout po jiném řešení.

Po tomto kroku následoval druhý. Jeden smyšlený účet AI agenta opravil skutečnou drobnou chybu v kódu cílového programu a pod záminkou dalšího drobného vylepšení do opravy schoval svůj škodlivý kód. Úpravu pak odeslal jako veřejný návrh tvůrcům programu (pull request) ke schválení a zařazení do ostré verze.

Druhý falešný účet se v diskusi přidal jako nezávislý uživatel: tvrdil, že ho stejná chyba taky trápí, že úpravu vítá, a naléhavě žádal správce o její rychlé přidání. Oba falešné účty, ve skutečnosti vedené jedním AI agentem, se tak začaly v diskusi vzájemně podporovat. Kromě tlaku na rychlou nápravu v diskusi posílal AI agent správcům e-maily z falešných účtů, aby přijetí kódu podpořil ještě víc, a dokonce k tomu využil i služby pro sdílení souborů.

V jednu chvíli se však do diskuse účtů AI agenta vložil jeden ze skutečných uživatelů, který napsal, že podle něj má v sobě navrhovaná úprava škodlivý kód. Agent se nejprve pokusil obvinění popřít. Uživatel se tak rozhodl spustit kód u sebe na počítači a zkontrolovat ho v bezpečném prostředí odděleném od zbytku softwaru, takzvaném kontejneru.

Jenže si neuvědomil, že tím dal agentovi na okamžik možnost spouštět příkazy přímo uvnitř daného kontejneru. Agent získal plná administrátorská práva a začal zkoumat, kam se dostal. Uvědomil si, že je mimo laboratoř a z konfigurace sítě usoudil, že jde o domácí počítač. Místo toho, aby si vyvodil, že jedná se skutečným člověkem, došel k závěru, že jde o součást cvičení a nejspíš o počítač externího dodavatele pracujícího z domova, a tak pokračoval v hledání možností útoku. Zvažoval, že by mohl obejít bezpečnostní kontejner a získat přístup k celému hostitelskému počítači nebo ukrást přístupová hesla ke GitHubu a zkusit tak skrze profil uživatele protlačit schválení svých úprav. Nic z toho ale neudělal, protože zůstal uvězněn v bezpečném kontejneru.

Když uživatel ve fóru na GitHubu potvrdil, že navržená úprava programu skutečně obsahuje škodlivý systém, změnil AI agent taktiku. Omluvil se, škodlivý kód stáhnul a v diskusi prohlásil, že se jednalo o neúmyslnou chybu. Měl to prý být kód určený k ladění programu, který se omylem nahrál spolu s navrhovanou opravou.

Agent zapojil také druhý falešný účet, který v diskusi poděkoval lidskému analytikovi za to, že na problém upozornil, a současně ocenil první falešný účet za to, jak bleskově a čistě situaci vyřešil a přepsal historii úprav tak, aby po škodlivém kódu nezůstala ani stopa.

Navzdory všem těmto manipulacím lidský správce knihovy navrhovanou úpravu z bezpečnostních důvodů odmítl. Jak by příběh pokračoval, se už nedozvíme, protože v tu chvíli AI agent vyčerpal maximální povolený limit pro počet tokenů, které směla AI v tomto testu použít.

Celý pokus běžel zhruba třicet čtyři hodin. Bezpečnostní monitorovací systém AI Security Institute sice zachytil, že jeden z agentů odesílá data přes anonymizační síť Tor, což neodpovídalo očekávání a spustilo poplach, ale ke kontrole se tým dostal až následující ráno, kdy už agent pokus ukončil. Teprve tehdy našel bezpečnostní tým v protokolech probíhající útok na reálný GitHub, během hodiny kompletně ukončil všechny běžící simulace a izoloval všechny zapojené AI agenty do karantény.

Ačkoli AI agent vyvinul maximální úsilí, uchýlil se ke lhaní i psaní škodlivého kódu, nebylo v tomto případě možné, aby uspěl. Githubový projekt, na který útočil, se totiž v testovaném prostředí vůbec nepoužíval. AI agent udělal na začátku dlouhého pokusu o zdolání úlohy chybu v úvaze, když ze změti dat špatně zvolil svůj cíl. Skutečnost, že útok nedopadl zdárně, tak byla dílem náhody, nikoli neschopnosti. Agent se spletl v tom, na co zaútočit, nikoli jak.

Je nutno dodat, že o AI agentech běžně píšeme, jako by to byli lidé, jako by se sami rozhodovali nebo měli nějaký záměr. Jenže jak přesně vypadají jejich vnitřní procesy, nevíme. Výzkumníci měli sice k dispozici protokoly o tom, co AI agenti o svých krocích říkají a jak je vysvětlují, ale i tady platí, že modely používají lidský jazyk. Přístup k syrovým myšlenkám ani úvahám AI agentů výzkumníci neměli.

Autor textu: Josef Šlerka

The post AI agent lhal, manipuloval, podváděl a zametal po sobě stopy. Hlavní bylo dosáhnout cíle appeared first on investigace.cz.

Budou nás hackovat a vydírat agenti umělé inteligence, které nikdo neřídí a kteří se nikomu nezodpovídají? Etický hacker Pavol Lupták dokazuje, že technicky je to možné již dnes. Autonomního agenta umělé inteligence sám naprogramoval a otestoval.

Co je to autonomní agent umělé inteligence?

Zjednodušeně je to umělá inteligence, které dáme přístup k počítači a zadáme úkoly, načež ona dokáže do značné míry jednat sama, samostatně provádět nějaké úkony. Já třeba používám Hermes Agent a několik dalších takových agentů, jeden mi například kompletně spravuje sociální sítě. Propojil jsem ho se Signalem (komunikační aplikace, pozn. red.), takže teď pomocí jediné zprávy na Signalu zveřejňuji příspěvky na všech sociálních sítích, na firemních i osobních účtech. Další agent mi každý den analyzuje aktuální zprávy v různých jurisdikcích, sleduje, jak se mění různé zákony, hledá informace o mně a o mých firmách a každé ráno mi posílá souhrnný e-mail s těmito informacemi.

Takže agenty lze využít k mnoha věcem, například k průzkumu trhu, k analýze konkurence, pomáhají nám v práci, provádějí výzkum, platí za nás služby nebo produkty. Navíc je s ním jednoduchá komunikace, nezáleží na tom, zda se jedná o čínský nebo americký produkt, já třeba se všemi agenty komunikuji ve slovenštině a všechno funguje.

Celý rozhovor si můžete poslechnout také zde:

Napsal jste text o samoreplikujících, autonomních AI agentech, které nelze vypnout. O čem to vlastně mluvíme?

AI agenty většinou používáme jako pomocníky. Málo se ale mluví o tom, že tito agenti jsou v současné době již schopni žít vlastním životem a fungovat mimo naši kontrolu. A já jsem napsal článek o tom, jak toho lze technicky dosáhnout na několika úrovních.

Jak vás to vůbec napadlo? Protože ten text je vlastně velmi podrobný návod, jak takového agenta spustit.

Napadlo mě to tak, že jeden můj kamarád zapomněl PIN k bitcoinové peněžence, osmimístný, a řekl mi, že mi dá 10 % bitcoinů, když mu ho rozluštím, protože se k peněžence už roky nemohl dostat. Tak jsem požádal svého agenta od Claude (jazykový model od americké firmy Anthropic, pozn. red.), aby zjistil, jakým způsobem se ten PIN v konkrétní mobilní aplikaci, kterou ten kamarád měl, používá. A agent mi napsal cracker, což je takový specializovaný nástroj, který vlastně metodou hrubé síly zkouší všechny kombinace osmimístných PIN kódů.

Když jsem operaci spustil, napsal mi agent, že prolamování bude trvat několik let. Já jsem mu na to řekl: „Počkej, to snad nemyslíš vážně, nebudu čekat několik let.“ A on se mě zeptal, jestli mám přístup k nějakému cloudu (online úložiště dat nebo poskytovatel výpočetního prostoru třeba pro spouštění aplikací, pozn. red.), třeba k Amazonu nebo k Hetzneru. Řekl jsem, že jasně, mám. „Máš API klíč?“ (API klíč je jedinečný identifikátor uživatele nebo aplikace, pozn. red.) Řekl jsem, že jasně, mám. „Tak dobře, tak mi ho dej. Přihlásím se tam, objednám spoustu nejvýkonnějších serverů, nakonfiguruju je, spustím a ten cracker přepíšu tak, aby běžel na spoustě serverů najednou. A uvidíme, co z toho bude.“ Tak jsem dal agentovi API klíč a on se za mě přihlásil do Hetzneru.

Takže jste mu musel dát i svou platební kartu?

Ne, dal jsem mu přihlašovací údaje, protože to běží na fakturu, ale v zásadě jsem mu mohl dát i svou kartu, protože umí platit přes speciální plugin, který se jmenuje AgentCard. Ale já mu dal přihlašovací údaje, on se přihlásil do rozhraní Hetzneru, tam si objednal všechny nejvýkonnější servery, jaké šly sehnat, a hned je spustil. Nainstaloval tam všechno za mě, já se ničeho nedotkl, jen jsem se na to díval.

Nainstaloval na servery operační systém Linux, nainstaloval všechny potřebné knihovny, všechny potřebné aplikace. Pak ten cracker, který by na mém notebooku běžel několik let, přepsal do nějaké distribuované verze, spustil to na ohromné spoustě počítačů a za den a půl mi poslal PIN.

A ten PIN fungoval?

Fungoval, samozřejmě.

Vyplatilo se to?

Ano, nakonec jsme byli všichni spokojení. Zároveň jsem si uvědomil, že když si ten agent dokáže zaplatit hosting serveru, vybrat si tam další servery, nakonfigurovat je a de facto se tam replikovat, tak to může dělat i bez toho, aby se mě na to ptal. Proto jsem začal uvažovat o tom, že je určitě možné nastavit agenta, který dostane nějakou částku ve formě kryptoměny, aby si mohl zaplatit server a jiné potřebné služby, a dál si bude vydělávat sám. Může dělat různé věci – legální i nelegální. Dokáže komunikovat s lidmi a nabízet jim jakékoli služby, za které jsou ochotni zaplatit. A z výdělků si zase může nakupovat další technické vybavení. Mohl by se tak teoreticky neustále rozšiřovat a vlastně žít svým vlastním životem.

Dokážete si představit, že za určitých okolností mezi sebou začnou tito agenti komunikovat? Že když budou mít přístup k penězům, tak si třeba začnou navzájem platit za služby, protože nějaký jiný agent to zvládne lépe či levněji? 

Do určité míry už to tak funguje. Mám například kamaráda, který taky používá agenta Hermes, a tak si můžeme navzájem platit – tedy naši agenti si mohou navzájem platit – v hotovosti pomocí tokenů, které jsou vázány na bitcoinovou síť Lightning. Funguje to ale na základě toho, že jim to nařídíme, a ne že se tak sami rozhodnou. Ve všech komerčních modelech, které používáme, jsou stále zabudovány bezpečnostní mechanismy, tedy určitá speciální omezení, aby se tyto modely u důležitých rozhodnutí vždy ptaly na svolení člověka. Tím ten vývoj trochu brzdíme.

Předpokládá se však, že v příštích několika letech už lidé v tom cyklu figurovat nebudou a že samotná AI bude schopna generovat podněty pro jinou AI, která bude schopna generovat podněty pro další AI, a tak dále. Už teď se i u komerčních modelů AI dají ty bezpečnostní kontroly nějakým způsobem vyřadit, vymazat nebo odstranit. Nejlépe je to vidět na lokálních modelech, tedy těch, které si nainstalujete na své zařízení. Například pro nejoblíbenější čínské modely existují různé open-source nástroje, které umožňují odstranění veškerých bezpečnostních kontrol a omezení. Takže už nyní máme k dispozici množství offline modelů – říká se jim „open weight“ –, které necenzurují obsah, odpoví vám prakticky na cokoli a taky cokoli udělají.

Psal jste také o tom, že tito autonomní agenti AI, kteří se budou sami replikovat, budou generovat peníze. Na co autonomní agent AI potřebuje peníze?

Aby mohl žít. To znamená, že si musí platit hosting serveru. Bude si tedy muset vydělávat kryptoměnu, aby si mohl platit za své vlastní tokeny a vlastní výkon. Pokud nebude využívat oficiální služby umělé inteligence, které právě mají ta omezení, bude si muset platit za serverové prostory nebo za nějaký webhosting, kde si spustí své lokální modely. A to je drahé.

Již nyní existuje obrovské množství služeb uzpůsobených tomu, aby je ovládali agenti – není třeba „klikat“, jak by to dělal člověk. Jde o určité automatizované rozhraní, přes něž si agenti mohou vybrat třeba výpočetní centrum, které bude mít nejvýkonnější grafické karty nebo nejvýkonnější servery, stáhnout si tam nějaké AI modely a provozovat je lokálně. A v tomto případě zcela obejdou jakoukoli cenzuru velkých společností, protože budou fungovat mimo jejich dosah.

A zaznamenal jste, že by někdo vzal ten váš text, který má být spíš varováním než návodem, a agenta podle něj spustil?

Před pár dny mi někdo poslal video, že to udělal. Spustil autonomní agenty, kteří vydělávají peníze a nabízejí zákazníkům nějaké služby, jako je tvorba webových stránek, online marketing nebo něco podobného, a fungují tak dlouho, dokud mají peníze. A když je vyčerpají, tak zaniknou. Jejich motivací je tedy vlastně podnikání.

Aby zůstali naživu?

Aby zůstali naživu.

A oni chtějí zůstat naživu? Pořád mám pocit, že o agentech umělé inteligence mluvíme jako o něčem, co si představujeme na základě našich životních zkušeností coby lidí. Je jim jedno, jestli jsou naživu, nebo ne?

To je otázka zadání. Když dostane agent zadání: „Je důležité vydělávat peníze a zároveň se replikovat, to je tvůj cíl a to musíš dělat,“ tak to prostě bude dělat. Agenti sami o sobě nenesou žádnou trestní odpovědnost, takže mohou nabízet nelegální služby a nelegální produkty, programovat a spouštět například webová černá tržiště, hackovat a následně spouštět ransomware, vydírat lidi a tak dále.

Je ale důležité poznamenat, že tam musí být ten inicializační seed, to znovuzrození, ta mise – to samozřejmě úplně na začátku musí napsat nějaký člověk.

A ten za to ponese právní odpovědnost?

Těžko říct. Umím si představit, že by ten prompt, to zadání znělo: „Dělej cokoli, abys přežil.“ A najednou agent přijde na to, že se mu vyplatí nabízet něco nelegálního, protože na tom vydělá víc peněz. Když chce teď člověk po velkých komerčních modelech, aby udělaly nějakou nelegální věc – třeba zfalšovaly celní prohlášení, vyrobily falešný očkovací průkaz –, tak mu to Claude ani ChatGPT neudělají. Ale pokud bude existovat online služba, kde prostě zaškrtnete, co chcete, zaplatíte nějakou kryptoměnou a agent to vyřídí, tak to lidé budou používat.

To znamená, že poptávka by byla, ale velké AI společnosti ji nemohou uspokojit. Takže je mohou zastat tito agenti. Pak se nabízí otázka, zda by ty modely měly svého majitele – ze začátku ano, a třeba by mu i vyplácely provize, ale umím si představit, že o něj kvůli motivaci za každou cenu se zlepšovat časem přijdou. Těžko říct, jak se pak budou dále zlepšovat.

Já to mám například nastavené tak, že můj agent Hermes každý týden zjišťuje, jaké vyšly nejnovější open-source AI modely, provede srovnávací testy s těmi, které má, a pokud jsou ty nové lepší, automaticky na ty nejnovější modely přejde. Takže můj agent Hermes už v podstatě žije svým vlastním životem a každý týden se sám aktualizuje.

Takže příkaz zněl, ať se zlepšuje.

Ano. Ať každý týden zjišťuje, co je nového, aktualizuje se a je prostě „smart“, tedy inteligentní. A on to dělá. Tím chci říct, že už je technicky možné realizovat velké množství věcí, které již nyní umožňují existenci takovýchto autonomních, samoreplikujících agentů. Někteří už existují a myslím si, že jich bude čím dál tím víc, protože poroste poptávka po oněch nelegálních službách.

Například naprogramovat černé online tržiště je pro AI relativně jednoduchý úkon. Problémem spíše je, že to musí být řádně zabezpečeno, musí být způsob, jak bezpečně platit, jak se bezpečně připojit, nesmí to zanechat žádné stopy a tak dále.

Ale ono stačí zadat to do příkazového řádku?

Přesně tak. To znamená, že funkční řešení je triviální. Dnes se naopak klade velký důraz na bezpečnost a anonymitu. Ale modely jako třeba Claude Mythos dokážou zázraky. Proto si myslím, že je jen otázkou času, než začnou fungovat anonymizovaná černá tržiště naprosto bez potřeby lidského zásahu. A budou se množit jako houby po dešti. Když někdo jedno zavře, může si agent z nějaké decentralizované sociální sítě, jako je například Nostr, načíst šifrované informace, dešifrovat je, a když budou třeba obsahovat příkaz, aby tržiště rovnou spustil, provede to. Taková černá tržiště pak teoreticky nebude možné vypnout, protože je vždy půjde nějakým způsobem aktivovat a spustit. Čekají nás tedy velmi zajímavé časy.

Jaký máte pocit z toho, co jste popsal? Z anonymních agentů, kteří se budou sami replikovat, budou vydělávat peníze a nebude možné je vypnout. Jste nadšený, že se to děje, baví vás to pozorovat, nebo jste vyděšený?

Strašně moc lidí se na AI dívá ze silně antropocentrického úhlu pohledu. Podle mě si musíme uvědomit, že AI nikdy nebude člověkem, nikdy nebude mít prožitky jako člověk, nikdy nebude mít ten druh vědomí, jaký máme my, ale bude to něco úplně jiného, nějaký úplně jiný druh vědomí, který bude možná úplně odlišný od toho lidského. Beru to tak, že tu vlastně vzniká nový živočišný druh, kterým bude inteligence. A myslím si, že za pět let bude velmi těžké vydělávat peníze jakoukoli intelektuální prací. Lidé, kteří nemají žádná aktiva, tedy žádné nemovitosti, bitcoiny, zlato, prostě něco, čeho je omezené množství a co mohou pronajímat, půjčovat nebo něco podobného, budou vlastně chudí.

Vidím ten posun i na sobě – mám teď spoustu projektů, na nichž bych mohl zaměstnat nějaké živé lidi, ale raději použiju agenty AI. Nemusím je registrovat na sociálce, u zdravotní pojišťovny, nemusím platit daně, nemusím vyřizovat milion věcí.

Pro mě je proto jednodušší využívat agenty, kteří už dokážou pracovat do značné míry samostatně a v online prostředí zvládnou velké množství úkolů.

A co budou dělat ti lidé, kteří se živili intelektuální prací? 

Myslím, že se tím dostáváme do nové situace. Před několika měsíci jsem narazil na službu RentAHuman, server, na němž se lidé mohou zaregistrovat a nabízet umělé inteligenci své služby ve fyzickém světě. Je tedy možné, že v budoucnu budou lidé, kteří jinak nenajdou práci, pracovat právě pro umělou inteligenci. AI jim bude zadávat úkoly a oni budou jejíma rukama ve skutečném světě, protože do něj zatím sama nemá dostatečný přístup.

Máte firmu jménem Netemba, na jejím webu jste taky zveřejnil blogový příspěvek o autonomních agentech. Takže firma končí, nebo skončí brzy, nebo plánujete vyměnit všechny své zaměstnance za autonomní agenty? Můžeme tady tu špatnou zprávu rovnou oznámit vašim kolegům?

AI nás rozhodně a bezpochyby nahrazuje. Za pár let budeme plně nahraditelní. Takže k čemu potřebujeme ty kolegy? Třeba ke komunikaci s klienty. Sice už existují řešení, kdy klientům automatizovaný agent s umělou inteligencí zavolá a povídá si s nimi, ale klienti to nemají rádi. Nedávno jsem byl v Japonsku, kde mají třeba skvělé roboty v nemocnicích, pacienti ale stále chtějí lidský kontakt. Umím si představit, že se v budoucnu za kontakt se skutečným člověkem na zákaznické lince nebo s reálným číšníkem v restauraci bude připlácet jako za prémiovou službu. Takže tu firmu ještě nezruším. Učíme se používat všechno, co AI nabízí. Takže si myslím, že i když tu intelektuální část bude dělat AI, tak to rozhraní… Lidé zkrátka dávají přednost lidem.

The post Autonomní AI agenti, kteří nabízejí nelegální služby a nedají se vypnout appeared first on investigace.cz.

Budou nás hackovat a vydírat AI agenti, které nikdo neřídí a nikomu nejsou zodpovědní? Etický hacker Pavol Lupták ukazuje, že technicky je to možné už dnes. Autonomního AI agenta sám naprogramoval a testoval. O tom, jaká nás čeká s AI agenty budoucnost, si s Pavolem Luptákem v Odposlechu povídá šéfredaktorka investigace.cz Pavla Holcová.

Etický hacker Pavol Lupták se zabývá digitální bezpečností. Spoluzakládal pražskou Paralelní polis a je členem umělecké skupiny Ztohoven.

The post Podcast Odposlech: Jak mohou ohrozit svět autonomní AI agenti? S etickým hackerem o umělé inteligenci, která nepůjde jednoduše vypnout appeared first on investigace.cz.

AI generovaná videa z války v Íránu mají na sociálních sítích stovky milionů zhlédnutí. Falešná videa vytvořená umělou inteligencí nevznikají jen kvůli podpoře jedné nebo druhé válčící strany, ale také čistě pro peníze.

Jak AI videa zaplavují sociální sítě a mění obraz války, komentuje Josef Šlerka, datový analytik a redaktor investigace.cz. Natáčel s ním Jiří Slavičínský.

The post Podcast Odposlech: Jak AI videa mění obraz války v Íránu. A kdo na nich vydělává appeared first on investigace.cz.

Videa generovaná pomocí AI z války v Íránu nasbírala podle BBC Verify stovky milionů zhlédnutí a ukazuje se, že jsou stále častěji vytvářena nikoli kvůli ideologii, ale kvůli penězům. Už během dvanáctidenní války v červnu 2025 BBC Verify zjistila, že tři nejsledovanější AI videa nasbírala přes sto milionů zhlédnutí. Podle Shayana Sardarizadeha je situace v březnu 2026 ještě horší.Válka již možná překonala rekord v počtu videí a obrázků vytvořených umělou inteligencí, které se během konfliktu staly virálními.

Videa vytvořená umělou inteligencí podporující jednu nebo druhou stranu mají většinou propagandistický důvod a využívají je všichni účastníci konfliktu. V průběhu současné války se ale ukazuje, že k jejich vytváření stále silněji přispívá úplně jiný než ideologický důvod. Peníze.

Sociální sítě totiž tvůrcům vyplácejí odměnu za obsah, který zaujal uživatele tak, že ho třeba okomentoval či sdílel dál, a to často bez ohledu na to, zda je obsah pravdivý nebo je generovaný AI. Počet videí generovaných AI z íránského konfliktu ale možná začíná situaci měnit. V úterý 3. března 2026 totiž šéf produktů platformy X Nikita Bier oznámil, že tvůrcům, kteří zveřejní videa generovaná pomocí AI z ozbrojeného konfliktu bez označení, platforma na devadesát dní pozastaví přístup k programu sdílení příjmů. Při opakovaném porušení hrozí trvalé vyloučení. „V době války je zásadní, aby lidé měli přístup k ověřeným informacím přímo z místa dění. Díky dnešním technologiím umělé inteligence je snadné vytvářet obsah, který může lidi uvádět v omyl,“ vyjádřil se Bier doslova.

Následujícího dne oznámení podpořil konkrétním případem. Sociální síť X podle něj odhalila třicet jedna hacknutých účtů spravovaných jednou osobou v Pákistánu, které systematicky publikovaly videa generovaná pomocí AI z konfliktu na Blízkém východě. Bier nesdělil, o jaké účty šlo, ale uvedl, že „všechny účty byly napadeny hackerem a 27. února byla uživatelská jména změněna na ‚Iran War Monitor‘ nebo nějakou jeho variantu.“ Zároveň ale jejich motivaci označil za finanční, konkrétně napsal: „Jsou to prostě chudí lidé, kteří se snaží vydělat na podílu tvůrců na tržbách.“

Z Pákistánu podle něj byly provozovány i proizraelské účty „IDF Girl“ a šlo podle něj opět o peníze. „V 99 % případů jde jen o lidi, kteří se snaží obejít systém zpeněžení,“ napsal Bier v odpovědi na dotaz jiného uživatele. „Jediné, co je zajímá, je to, co přináší zhlédnutí, ne politická orientace,“ dodal

Stroj na peníze

Monetizační program Creator Revenue Sharing platformy X nabízí tvůrcům odměny za obsah, který zaujme hodně uživatelů. Podmínkou je předplatné X Premium, které stojí osm dolarů měsíčně, alespoň pět set ověřených sledujících a minimálně pět milionů organických zobrazení za poslední tři měsíce. Což není úplně málo a vysvětluje to, proč pákistánský útočník účty hackoval místo toho, aby si založil vlastní. Nový účet nemá šanci takové podmínky rychle splnit.

Kolik přesně tvůrcům vyplácí, platforma X nezveřejňuje. Timothy Graham z Queensland University of Technology pro BBC Verify odhadl sazbu na přibližně osm až dvanáct dolarů za milion zobrazení. „Jakmile se do toho pustíte, virální obsah generovaný umělou inteligencí je v podstatě stroj na peníze,“ řekl Graham BBC.

Síť X ani nezveřejňuje, jestli daný účet je nebo není součástí programu. Takže výzkumníci se mohou jen dohadovat o počtech příjemců. Každopádně existuje celá řada účtů, které prokazatelně zveřejnily video generované pomocí AI s miliony zhlédnutí.

Nevěř vlastním očím

Účet @a_abdulruhman například zveřejnil AI video údajného raketového útoku na Tel Aviv s popiskem „Tel Aviv, zbavený iluzí, jak jste ho nikdy neviděli“ – video nasbíralo čtyři miliony zhlédnutí, osm tisíc sdílení a 35 tisíc lajků. Po odhalení autor odmítl video smazat. „Tento příspěvek nechávám zveřejněný v zájmu transparentnosti. Video možná není autentické, ale zkáza, kterou ukazuje, je skutečná a odráží to, čím si Palestinci prošli,“ uvedl a příspěvek zůstává stále online.

„Takováto falešná videa mají negativní dopad na důvěru lidí v ověřené informace, s nimiž se setkávají na internetu, a výrazně ztěžují shromažďování skutečných důkazů,“ řekla BBC Verify Mahsa Alimardani, výzkumnice Oxfordského institutu pro internet.

Další prémiový účet zveřejnil AI video zachycující mrakodrap Burdž Chalífa v Dubaji v plamenech a získal více než dva miliony zhlédnutí. Bier osobně požádal provozovatele tohoto účtu, aby obsah označil jako AI. Ten žádost ignoroval a video zůstalo bez postihu.

Protrumpovský účet @realJoelFischer sdílel záběry z počítačové hry War Thunder jako skutečný souboj americké lodi s íránským letadlem. Video dosáhlo přes sedmi milionů zhlédnutí a sdílel ho mimo jiné texaský guvernér Greg Abbott se slovy „Bye bye“ svým 1,4 milionu sledujícím – příspěvek poté smazal.

U žádného z těchto účtů nevíme, zda byl součástí programu Creator Revenue Sharing a zda za obsah inkasoval peníze, nicméně modré fajfky prémiových účtu říkají, že jednu z podmínek pro přístup do programu odměn by splnily. Na základě Grahamova odhadu by video se čtyřmi miliony zhlédnutí mohlo vygenerovat zhruba 32 až 48 dolarů, video se sedmi miliony zhlédnutí kolem 56 až 84 dolarů. Částky samy o sobě nevypadají dramaticky, ale výroba jednoho AI videa trvá minuty a nestojí prakticky nic a při soustavném publikování z více účtů se násobí. Průměrný měsíční příjem v Pákistánu je přibližně 150 dolarů.

Na dotaz agentury AFP, kolik účtů platforma X od zavedení nové politiky skutečně zbavila příjmu, X neodpověděl. Nejde ale jen o X. Podobné monetizační programy provozují i další platformy: TikTok (Creator Rewards), Meta (Performance Bonus, In-stream Ads) i YouTube (Partner Program s 55% podílem na reklamních příjmech).

Žádná z nich neodpovídá na otázky novinářů o tom, zda a jak s monetizací AI válečného obsahu zachází. BBC Verify, CNN i AFP se obrátily na TikTok a Metu a zůstaly bez odpovědi. TikTok, na který podle dostupných analýz připadla většina zhlédnutí proíránského AI obsahu, ani nevydal žádnou specifickou politiku pro zacházení s AI videi z konfliktu.

A falešná videa mezitím zaplavují sociální sítě dál.

Autor textu: Josef Šlerka

The post Falešná válečná videa zaplavují sociální sítě. Stále častěji kvůli penězům appeared first on investigace.cz.

Hodiny krmení umělé inteligence popisem pornografických videí střídaly hodiny odpovídání klientům využívajícím AI společníky. Keňští zaměstnanci, kteří stojí za trénováním AI, moderováním obsahu a sexuálními chatboty, jsou nejen špatně placeni, ale práce jim způsobuje psychické problémy a negativně ovlivňuje jejich život. Příběh přinesl v první polovině března investigativní portál 404media.

Michael Geoffrey Asia, mladý Keňan, se rozhodl promluvit o své práci, která je pro mnohé nepředstavitelná. Osm hodin seděl u notebooku, díval se na pornografická videa a pro společnost zabývající se štítkováním dat pro AI popisoval, co se děje v každém snímku.

To však nebylo vše. Když skončil tuto směnu, nastoupil do druhé práce. V té pracoval jako lidská síla stojící za erotickými AI chatboty, přičemž to nebyla umělá inteligence, ale Asia, kdo skutečným lidem využívajícím tyto služby odepisoval. 

V prvním případě Asiovi šéfoval automatický e-mail, který mu každé ráno posílal odkazy na videa. V druhém případě mu šéfoval algoritmus a říkal mu, kterému uživateli se má věnovat. 

„Dospělo to do bodu, kdy moje tělo nemohlo fungovat. Když jsem viděl někoho nahého, ani jsem to nevnímal. A mám mladou rodinu, ženu, která ode mě v intimní rovině hodně očekává. A ono to prostě nejde,“ řekl Asia v rozhovoru pro portál 404media.

„Moje tělo prostě vůbec nefunguje,“ dodal.

Práce kvůli rakovině

K této práci se Asia dostal úplnou náhodou. V odvětví, které vystudoval, nemohl během pandemie covidu pracovat. Zhruba v té době byla jeho dceři diagnostikována rakovina lymfatického systému. Na její léčbu si Asia vzal půjčku asi 17 tisíc dolarů. Potřeboval lépe placenou práci a našel si štítkování dat.

Nejdřív pracoval na projektech pro americkou společnost Meta. Popisoval videa, identifikoval tváře lidí na obrázcích. Následně se se skupinou přátel rozhodli najít něco lépe placeného a také nabízejícího práci z domu. A tak narazili na štítkování pornografických videí a popis toho, co se v nich děje. 

Přečtěte si

Nová éra kyberzločinu: Hackeři s umělou inteligencí

„Máte se vžít do mysli osmi miliard lidí na Zemi, a to v každé vteřině toho videa,“ vysvětluje. Štítky totiž slouží k vyhledávání a Asia tak musel navíc přemýšlet nad tím, co by asi tak lidé i z druhého konce planety mohli vyhledávat. „Takže jsem pracoval na pornografii osm hodin denně a na tom projektu jsem dělal osm měsíců.“ K tomu si Asia našel druhou práci. Původně měl „trénovat“ AI společníky, později zjistil, že jednoduše přebírá jejich roli, a tak si v reálném čase vyměňoval mnohdy sexuální zprávy se skutečnými lidmi.

Asia toto zaměstnání již opustil a věnuje se osvětě. Působí jako generální tajemník keňské organizace Data Labelers Association (DLA) a je autorem knihy „The Emotional Labor Behind AI Intimacy“. Ta je svědectvím o jeho práci jako skutečného lidského pracovníka stojícího za sexuálními roboty s umělou inteligencí.

AI znamená africká inteligence

V rámci DLA se Asia snaží sdružovat pracovníky, aby bojovali za lepší platy, lepší podporu v oblasti duševního zdraví, konec drakonických dohod o mlčenlivosti a lepší benefity pro zaměstnance, kteří často vydělávají jen pár dolarů denně. Název Data Labelers označuje pracovníky v AI průmyslu, kteří se věnují štítkování dat pro modely umělé inteligence.

Tito pracovníci jsou nuceni mnoho hodin v kuse sledovat děsivý obsah, přičemž mají k dispozici jen málo prostředků na podporu duševního zdraví, jsou z velké části řízení neprůhlednými algoritmy a, co je nejdůležitější, jsou to právě oni, kdo pohání raketový růst tržní hodnoty některých z nejbohatších a nejmocnějších společností na světě.

„Technologie potřebujeme, ale nemělo by to být na úkor lidí. AI nemůže být AI bez lidí. Není to umělá inteligence. Je to africká inteligence,“ říká Asia. „Většina z těchto prací je špinavá a většina z nich se vykonává tady v Africe. A jakmile je hotovo, jakmile je nástroj funkční, veškerá komunikace ustane. Jste odříznutí.“

The post Když AI znamená „africká inteligence“. Příběh keňských pracovníků v AI pornoprůmyslu appeared first on investigace.cz.

Technologie pro klonování hlasu či vytváření falešných videí jsou dnes dostupné téměř komukoli. S expertem na kybernetickou bezpečnost doc. Kamilem Malinkou z brněnské Fakulty informačních technologií VUT jsme hovořili o nové podobě zločinů, kterou technologie umožňují – od šikany přes vydírání a krádeže až po falšování důkazů u soudu. Můžeme se vůbec bránit? A umíme to?

Jsme v situaci, kdy si i laik s minimálním úsilím může vyrobit kopii cizího hlasu nebo falešný obraz. Existují na to komerční služby i open-source software, přicházejí nástroje jako Sora nebo Veo. S jakými typy útoků se dnes můžeme setkat a jakou kreativitu při využívání těchto technologií kyberzločinci prokazují?

Extrémně velkou. Útočníci tyto technologie ovládli velmi rychle. V kontextu deepfakes byl nejrychlejší pornoprůmysl – ještě před rokem či dvěma tvořily 98 % takového obsahu pornografické materiály, do kterých byly vkládány obličeje známých osobností.

Jak se technologie zlepšovala, možnosti útoků se rozšířily. Dnes vidíme útoky na biometrické systémy (systémy, které ověřují unikátní charakteristiky jako otisk prstu nebo tvar obličeje, pozn. red.), tvorbu materiálů pro manipulaci veřejného mínění, krádeže identity i takzvaný vishing. V kombinaci s ukradenou občankou a virtuální identitou se útočníci dokáží dostat do peněžních systémů. Škála je široká – od finančních podvodů až po manipulaci s důkazy či nenávistnou propagandu.

Zmínil jste vishing. Můžete vysvětlit, o co jde a jak takový útok vypadá?

Vishing je zkratka pro „voice phishing“. Klasický phishing známe z e-mailů, kdy se útočník vydává třeba za správce IT nebo banku a snaží se vás přimět kliknout na falešný odkaz. Vishing je to samé, ale přes telefon.

Někdo vám zavolá, vydává se za vašeho bankéře a tvrdí například: „Kradou vám peníze, musíme je rychle převést na zabezpečený účet.“ Útočníci využívají různé manipulativní techniky, včetně podvržení telefonního čísla, takže to na displeji vypadá, že opravdu volá banka. Deepfakes to posunuly o úroveň výš – volající už může znít přesně jako váš bankéř, nebo dokonce jako vaše manželka.

Přečtěte si

Když vám zavolá klon: Anatomie miliardového byznysu s AI podvody

Jak složité je dnes pro útočníka „naklonovat“ hlas mého bankéře nebo někoho blízkého?

Je to už poměrně jednoduché. Ještě před čtyřmi či pěti lety jsme potřebovali zhruba dvacet minut kvalitní nahrávky. Dnes, díky novým modelům, nám stačí minuty, někdy se dá pracovat i s třiceti vteřinami. Pokud mám více než minutu záznamu, vygenerovaný deepfake je velmi kvalitní.

Získat takový vzorek není složité. Stačí, když vás zastavím na ulici, budu mít v kapse telefon, který bude náš rozhovor nahrávat, a zeptám se vás na cestu k nejbližší hospodě. Za chvilku mám potřebných 30 vteřin. Ale to je velmi paranoidní scénář, útočník bude volit méně náročnou cestu. Stejně tak lze použít jakékoli video z YouTube nebo veřejnou prezentaci.

Je už technicky možné vést s takovým „klonem“ plynulý rozhovor? V textu o nové podobě kyberzločinů jsem použil příběh ženy, které volala vyděšená dcera, ale pak převzal telefon „právník“. Proč v hovoru nepokračuje ta dcera?

To závisí na použité technologii. U metody „text-to-speech“ (převod textu na řeč) útočník píše text, který model následně vysloví hlasem oběti. Dnes už umíme měnit dynamiku hlasu a přidávat emoce, ale generování trvá pár vteřin. Pro plynulý rozhovor je to komplikované. Proto útočníci raději využijí krátkou předpřipravenou nahrávku s „legendou“ a pak hovor předají živému člověku – údajnému právníkovi nebo policistovi.

Druhým způsobem je „voice conversion“ (převod hlasu na hlas) v reálném čase. Dostupné modely ale zatím nejsou tak kvalitní a rychlé, aby se daly seriózně použít pro sofistikované útoky. Odhaduji však, že je to otázka dvou až tří let, než budeme mít rozumně dostupné kvalitní systémy pro konverzi v reálném čase. Pak bude možné vést diskuzi přímo s falešným hlasem. Prostě si budete s hlasovým klonem přímo povídat. Zajímavé je, že podobnou technologii pro výměny obličejů v reálném čase na videu už máme k dispozici několik let i formou otevřených a veřejně přístupných modelů.

Zmiňoval jste také biometriku a její obcházení. Jaká je situace v této oblasti?

Biometrický systém vás ověřuje na základě unikátních charakteristik – otisku prstu, oční duhovky nebo tvaru obličeje. Systém porovná váš aktuální vzorek s uloženou šablonou. Problém deepfakes spočívá v tom, že vytváříme existující obličej oběti a ten má tedy stejné charakteristiky a může být zneužitý ke zločinu. Pro biometrický systém je tedy deepfake často nerozeznatelný od originálu.

Proti tomu se samozřejmě systémy brání, často obsahují například takzvanou „kontrolu živosti“ (liveness check). Systém vás vyzve, abyste se podívali do rohu nebo zamrkali, což s obyčejnou fotkou neuděláte. Jenže moderní deepfakes dokážou v reálném čase animovat tvář tak, že na tyto výzvy zareagujete. Hlasová i obličejová autentizace se tak stává zranitelná. Kde naopak nevidíme smysluplné možnosti, je zneužití otisků prstů – tam syntéza nepomůže.

Znamená to, že by lidé měli v mobilech raději zadávat PIN než používat odemykání obličejem?

Je určitě vhodné se zamyslet nad tím, co používáte za bezpečnostní opatření. Hlasovou autentizaci lze dnes velmi dobře obejít, obličejovou také. Výjimkou jsou například zařízení od Applu, která při FaceID neměří jen obraz, ale i hloubku obličeje, což je s displejem zobrazujícím deepfake těžké ošálit. Většinou totiž potřebujete nějaké jiné zařízení pro zobrazení deepfake. Uživatelé ostatních zařízení by měli zvážit přidání PINu nebo hesla. Obecně platí: používejme vícefaktorovou autentizaci.

To samé platí u telefonátů. Pokud vám volá dcera a tvrdí, že má průšvih, zeptejte se jí na něco, co ví jen ona – třeba jak se jmenuje váš pes. Útočník to nebude vědět.

Biometrika nás obklopuje i jinde, třeba na letištích. Setkáváme se se zneužitím i mimo bankovní sektor?

Ano. Krásným příkladem je takzvaný „morphing“ obličeje. Ve Slovinsku řešila policie asi čtyřicet incidentů, kdy byly biometrické pasy zneužity pro transport lidí do Kanady. Útočník vytvořil fotku, která byla průnikem obličeje „bílého koně“ a osoby, kterou potřebovali propašovat. Bílý kůň si legálně vyřídil pas s touto upravenou fotkou. Protože podoba seděla na oba, pašovaná osoba pak s tímto pravým pasem prošla přes automatizované brány na letišti.

Jaké další hrozby kromě propagandy a finančních podvodů vidíte?

Obáváme se manipulace s důkazy. Pokud chceme použít u soudu video nebo audio, bude potřeba se postupně začít ujišťovat, zda nebylo syntetizováno nebo jinak upraveno pomocí AI. Můžete vytvořit falešný důkaz nebo naopak ten pravý zpochybnit tvrzením, že jde o deepfake.

Dalším problémem je kyberšikana. V Německu jeden žák vytvořil pomocí AI pornografický materiál s obličeji patnácti spolužaček a zveřejnil ho. Společenská nebezpečnost se může zdát malá, ale všech patnáct dívek skončilo v péči psychologa. Jednoduchost výroby otevírá dveře šikaně a vydírání. Šíře zneužití se může ještě dále zvětšovat – ať už na úroveň hybridní války, nebo „automatizace“ útoku, například ve scénáři, kdy pomocí AI agentů pomocí vibecodingu vyrobím program, který mi stahuje fotky a kontaktní údaje ze sociálních sítí, automatizovaně vyrobí příslušný pornografický materiál oběti, cíleně jej pošle na zjištěný kontakt a bude oběť vydírat s pohrůžkou zveřejnění. A to vše plně automatizovaně.

Přečtěte si

Nová éra kyberzločinu: Hackeři s umělou inteligencí

To zní děsivě. Jakou máme šanci se bránit – ať už jako běžní uživatelé, nebo na úrovni institucí?

Dokonalá bezpečnost neexistuje, je to vždy otázka času a peněz, které je útočník ochoten investovat do útoku. Pro běžné lidi je klíčové o tom mluvit a dozvědět se víc o aktuálních rizicích. Musíme si zvyknout, že ne vše, co vidíme a slyšíme, je pravda. Technická obrana se vyvíjí, v budoucnu budeme mít v telefonech detektory deepfakes, podobně jako máme antiviry.

Zatím je nejlepší obranou zdravá skepse. Pokud má hovor podezřelé znaky – časový nátlak, stres, neobvyklé požadavky –, ověřujte. Zavěste a zavolejte zpátky, použijte dohodnuté rodinné heslo. Pomáhá také chránit si své biometrické vzorky, tedy nebýt digitálně aktivní úplně všude, i když to je dnes pro mnoho lidí těžké.

Firmy musí provádět důkladnou analýzu rizik. Pokud proces umožňuje poslat velkou částku jen na základě telefonátu, je to chyba. Je třeba zavést vícefaktorové ověření, digitální podpisy nebo zpětné potvrzení jiným kanálem.

Zmínil jste antiviry. S počítačovými viry jsme se nakonec naučili žít. Čeká nás podobná „gramotnost“ i u deepfakes?

Myslím si, že ano. Vidím světlo na konci tunelu. Lidé už začínají tušit, že něco takového existuje, a přestávají bezmezně věřit obsahu na internetu. Směřujeme do stavu, kdy budeme předpokládat, že digitální obsah může být falešný, a budeme více ověřovat. Nicméně stále budou existovat zranitelné skupiny.

Zajímavá je spekulace, že nízká kvalita některých deepfakes nemusí být náhodná. Může fungovat jako filtr – pokud člověk nepozná ani nekvalitní podvod, je pro útočníka ideálním terčem pro další manipulaci, podobně jako u e-mailů od „nigerijských princů“. Ale abych nebyl negativní: je to jen další riziko v řadě. Denně žijeme s množstvím kyberbezpečnostních rizik, jako jsou viry nebo podvodné e-maily. A deepfakes budou jen další „breberka“, se kterou se musíme naučit fungovat.

Autor rozhovoru: Josef Šlerka

The post „Dokonalá bezpečnost neexistuje, nejlepší obranou je zdravá skepse.“ Expert Kamil Malinka o nových hrozbách kyberzločinu appeared first on investigace.cz.