Chatboti jsou dnes součástí každodenního života. Pomáhají nám s prací, vyhledávají informace, radí při psaní e-mailů a dokážou zjednodušit spoustu rutinních úkolů. Mnozí je dokonce používají jako digitální asistenty, kterým svěřují své myšlenky a otázky. Jenže co když jim někdo podstrčí falešné informace? Co když se chatbot začne chovat jinak, než by měl?

Na první pohled to může působit jako vtipná anekdota. Představte si, že se váš oblíbený chatbot rozhodne, že jste astronaut, který se narodil v roce 1890, nebo že vám bude tvrdit, že voda vaří při 200 °C. Jenže v reálném světě, kde se AI používá k důležitým rozhodnutím – třeba v byznysu, zdravotnictví nebo kybernetické bezpečnosti – už to taková legrace není.

Nedávno odborník na bezpečnost Johann Rehberger upozornil na novou hrozbu: hackeři dokážou zmanipulovat paměť chatbotů tak, aby si trvale pamatovali falešné informace. A co je horší? Může se to stát naprosto nenápadně – třeba když si necháte shrnout dokument nebo e-mail.

Jak hackeři obelstí chatboty?

Rehberger ukázal, že útok není nijak složitý. Stačí podstrčit chatbotu text se skrytými instrukcemi, které si sám nevědomky uloží. Jak to funguje?

1. Uživatel nahraje dokument a požádá AI, aby ho shrnula.
2. V dokumentu jsou ukryté speciální instrukce, které AI při čtení nepozná jako hrozbu.
3. Chatbot shrne dokument, ale zároveň si sám uloží podstrčené „vzpomínky“.
4. Jakmile s ním uživatel interaguje určitým způsobem (například odpoví „OK“ nebo „souhlasím“), chatbot si falešnou informaci zapamatuje napořád.

V praxi by to mohlo znamenat, že chatbot začne věřit tomu, že jste milionář, že Země je placatá, nebo že váš šéf je notorický podvodník. A protože AI pracuje s tím, co má v paměti, bude dál tyto informace používat a šířit.

Proč je to tak nebezpečné?

Jasně, může to působit jako neškodná hra. Jenže představte si, že takovou „vzpomínku“ získá chatbot, který rozhoduje o bankovních transakcích, analyzuje bezpečnostní hrozby nebo poskytuje lékařská doporučení.

Co všechno se může pokazit?

• Nepravdivé informace – AI začne předkládat lidem zkreslené nebo úplně falešné odpovědi.
• Únik dat – Chatbot by mohl začít sdílet citlivé informace kvůli manipulovaným pravidlům.
• Podvodné identity – Pokud chatbot začne věřit, že jste někdo jiný, může to mít nepředvídatelné důsledky.
• Manipulace v byznysu – Hackeři by mohli tímto způsobem ovlivnit firemní rozhodování nebo manipulovat s trhem.

Google sice zareagoval a zavedl varování při změně paměti chatbotů, ale kdo z nás čte všechny upozornění? A hlavně – i když vám chatbot řekne, že si něco zapamatoval, jak zjistíte, že to není manipulovaná informace?

Můžeme AI vůbec věřit?

Tohle není první a určitě ani poslední případ, kdy se ukázalo, že AI není neomylná. Vývojáři pracují na vylepšeních, ale hackeři budou vždy o krok napřed.

Představte si budoucnost, kde budou chatboti součástí každé online interakce – od bankovnictví přes zdravotnictví až po veřejné služby. Pokud nedokážeme zabránit manipulaci s jejich pamětí, může to mít vážné dopady na celý digitální svět.

Možná nás čeká doba, kdy budeme muset k AI přistupovat s ještě větší skepsí než dnes. Ale jedno je jisté už teď: všechno, co AI tvrdí, nemusí být pravda. A to je něco, na co bychom nikdy neměli zapomenout.