Podle zprávy jihokorejského bezpečnostního centra Genians Security Center (GSC) se hackeři napojení na severokorejský režim podařilo využít ChatGPT k vytvoření falešného průkazu vojenského zaměstnance. 

Dokument měl posloužit jako věrohodná rekvizita pro spear-phishing — tedy cílené podvodné útoky zaměřené na konkrétní organizace. Tentokrát se útočníci zaměřili na instituci spjatou s jihokorejskou obranou; její jméno zatím zveřejněno nebylo.

Za útokem stojí známá skupina Kimsuky, která už víc než deset let provozuje kybernetickou špionáž proti univerzitám, vládním úřadům i společnostem v jaderném sektoru. Mezi její oběti patří Korea Hydro & Nuclear Power Co., organizace OSN a řada výzkumných think-tanků v USA, Japonsku i v Evropě.

Za incidentem stojí notoricky známá skupina Kimsuky, která už více než dekádu provádí kybernetickou špionáž proti akademickým institucím, vládním úřadům a jaderným společnostem. Skupina má na kontě útoky na Korea Hydro & Nuclear Power Co., OSN i výzkumné think-tanky v USA, Japonsku a Evropě. Její specializací je získávání citlivých dokumentů, politických analýz a obranných plánů.

Jak hackeři obešli bezpečnostní zábrany

Generativní AI modely jako ChatGPT jsou vybaveny tzv. „guardraily“, tedy ochrannými mechanismy, které mají zabránit generování nelegálního obsahu – od podvodných e-mailů přes škodlivý kód až po falešné doklady. Jenže praxe ukazuje, že tyto mantinely lze obejít.

Zdroj: Shutterstock

Výzkumníci z Genians vysvětlují, že hackeři postupovali rafinovaně: Místo přímého požadavku na vytvoření průkazu simulovali žádost o „grafický vzorek“ nebo „mock-up“. Tím zmátli model, který jim následně poskytl podklad použitelný jako falešné ID. Zveřejněná fotografie, již hackeři použili, byla dostupná na internetu, což celý proces ještě usnadnilo.

Podobný postup se v komunitě označuje jako „jailbreaking“ – tedy prolomení ochranných bariér jazykového modelu tím, že se útočník chytře zeptá na něco, co systém nevyhodnotí jako nebezpečné.

Proč je to problém

Falešné průkazy státních zaměstnanců patří mezi nejpřísněji chráněné dokumenty. Jakýkoliv pokus o jejich napodobení je nejen protizákonný, ale i vysoce rizikový. V tomto případě šlo o takzvané deepfake ID, tedy padělek vytvořený umělou inteligencí. Podobný dokument mohl výrazně zvýšit důvěryhodnost phishingových e-mailů a přimět adresáty, aby klikli na škodlivý odkaz nebo otevřeli infikovanou přílohu.

Podle expertů z firmy Genians není vytvoření takového materiálu technicky složité – umělá inteligence dokáže reagovat i na poměrně jednoduché zadání. To je varovný signál, protože stejnou taktiku mohou převzít i jiné skupiny než jen ti nejlépe vybavení hackeři podporovaní státem.