Microsoft obvykle představuje nové funkce Windows v duchu efektivity a komfortu. Tentokrát to ale dopadlo poněkud zvláštně. Copilot Actions, sada experimentálních schopností umožňujících počítači samostatně organizovat soubory, domlouvat schůzky nebo odesílat e-maily, přišla ruku v ruce s neobvykle ostrým varováním. Firma doporučuje funkci zapínat pouze lidem, kteří „si plně uvědomují její bezpečnostní důsledky“.

Takové upozornění bývá obvykle odrazovým můstkem pro diskuzi - a tady se skutečně rozjela naplno. Odborníci se shodují, že nejde ani tak o samotnou funkci, jako spíš o dlouhodobý problém celého odvětví: velké jazykové modely stále občas halucinují, reagují nepředvídatelně a nechají se zmanipulovat i velmi nenápadnými triky.

Když AI vidí příkaz tam, kde by ho nehledal člověk

Jedním z nejčastějších strašáků je takzvaná prompt injekce. Útočník ukryje část instrukce například do textu na webové stránce nebo v životopisu. LLM - ať už je to Copilot, Gemini nebo jiný asistent - tuto vloženou instrukci poslušně splní. Nezkoumá, zda je určena jemu, nebo jestli je tam pouze proto, aby obelstila systém. To je zásadní rozdíl oproti člověku, který by si podobné manipulace všiml.

Zdroj: Shutterstock

V praxi pak stačí, aby AI narazila na text, který jí tajně přikazuje přenést data jinam, uložit soubor s malwarem nebo změnit systémové nastavení - a útočník má hotovo. Microsoft to ve svém oznámení nezastírá. Naopak přiznává, že nové možnosti přinášejí i nové typy útoků, které zatím neumíme stoprocentně zastavit.

Staré varování v novém kabátě

Mnozí experti proto reagovali ironicky. Připomínají dlouholetou historii varování před makry v Office. Microsoft léta nabádal, aby je lidé zapínali jen tehdy, když opravdu vědí, co dělají. Realita ale ukazuje, že makra se navzdory upozorněním pravidelně stávala bránou pro malware. Ne proto, že by uživatelé chtěli riskovat, ale protože makra byla úzce propojená s každodenní prací a jejich vypnutí by v mnoha firmách znamenalo paralyzovat provoz. Nezávislý výzkumník Kevin Beaumont to trefně přirovnal k „makrům na Marvel cracku“ - tedy k něčemu, co může při špatném použití způsobit výrazně horší problém než běžný škodlivý skript.

Uživatelé mají být opatrní. Jenže jak?

Microsoft tvrdí, že Copilot Actions je zatím vypnutý ve výchozím nastavení a že je určen především pro zkušené uživatele. Jenže neříká, kdo přesně mezi ně patří, ani jak zjistit, že AI právě něco provádí za hranou očekávání. Kritici upozorňují, že i ti nejzkušenější analytici mají problém prompt injekce odhalovat v reálném čase. O běžných uživatelích nemluvě.

Další otázkou je, jak bude možné funkci hlídat ve firemních sítích. Microsoft slibuje, že administrátoři budou mít nástroje pro centrální kontrolu - jenže v minulosti se ukázalo, že podobné sliby mají často mezery. A když se experimentální funkce později stane standardem, bývá pro firmy mnohem těžší ji udržet pod kontrolou.

Dobré cíle, ale sázka na lidské chování

Microsoft ve svém oznámení popsal celou filozofii bezpečnosti agentních AI. Vše by mělo být průhledné, každá akce musí být jasně odlišitelná od kroků, které dělá samotný uživatel. AI by měla žádat o souhlas při práci s citlivými daty. Na papíře to zní výborně. Problém nastává ve chvíli, kdy se veškeré zabezpečení opírá o jedno jediné místo: uživatelovo kliknutí.

Dlouhodobé zkušenosti ukazují, že lidé nečtou každý dialog. Klikají, protože chtějí pokračovat v práci, nebo protože jsou unavení či pod tlakem. Odborníci tedy upozorňují, že se tím celý koncept zabezpečení posouvá zodpovědnosti směrem k lidem. A to i v situaci, kdy už z principu není možné očekávat stoprocentní pozornost.