Když se mluví o rizicích spojených s AI, často se debatuje o deepfake videích, dezinformacích nebo kybernetických útocích. Teď se ale do popředí dostává další varovný příklad: automatizované generování spamu pomocí AI. Podle zprávy bezpečnostní společnosti SentinelOne došlo během pouhých čtyř měsíců k rozeslání desítek tisíc unikátních zpráv, které se úspěšně vyhnuly spamovým filtrům – a to právě díky jazykovým modelům od OpenAI.

AkiraBot: Tichý stroj na spam

Za kampaní stojí framework s názvem AkiraBot, který kombinuje Pythonové skripty a chatovací API modelu GPT-4o-mini. Cíl byl jednoduchý: vytvořit co nejvíce personalizovaných marketingových zpráv, které by prošly spamovými filtry na firemních webech. A vyšlo to.

Útočníci využili chatovací rozhraní OpenAI s následujícím zadáním:
„Jsi nápomocný asistent, který generuje marketingové zprávy.“

Do promptu se doplňovaly názvy jednotlivých webových stránek v reálném čase. Výsledkem byla každá zpráva unikátní, adresovaná konkrétnímu webu a navíc s krátkým popisem služeb, které daný web nabízí. To zásadně ztížilo detekci klasickými antispamovými algoritmy, které spoléhají na opakující se obsah.

Spam přes kontaktní formuláře a live chaty

Zprávy byly doručovány prostřednictvím kontaktních formulářů nebo live chat widgetů, což je technika běžně používaná i legitimními firmami. O to hůř se spam rozpoznává. Navíc AkiraBot rotoval doménami, které propagoval – což znemožnilo vytvořit jednotný blokovací vzor.

Podle výzkumníků z SentinelLabs byla úspěšnost alarmující – unikátní zprávy se podařilo doručit více než 80 000 webům, přičemž selhání se týkala jen zhruba 11 000 domén.

Zdroj: Shutterstock

Reakce OpenAI: účet zablokován, ale až dodatečně

Jakmile SentinelOne na problém upozornil, OpenAI zablokovalo příslušný účet. Firma zároveň poděkovala výzkumníkům a potvrdila, že podobné využití je v rozporu s jejími podmínkami použití.
Jenže samotná skutečnost, že spamování probíhalo čtyři měsíce bez povšimnutí, ukazuje na reaktivní – nikoliv proaktivní přístup k ochraně proti zneužití. A to je v kontextu rychlého rozvoje generativních modelů znepokojivé.