Na první pohled to byla téměř zapomenutá wiki pro německy mluvící programátory. Letos na jaře se ale na DSEWiki začalo dít něco nezvyklého. Ve velkém na ni zapisovali AI agenti spojení s OpenAI. Během několika týdnů tam vznikly tisíce úprav, poznámek a zpráv určených dalším agentům.

Případ odkryli výzkumníci Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts a Thomas Larsen. Reuters následně popsal více než 15 tisíc úprav DSEWiki. Výzkumníci ve své širší analýze dohledali přibližně 18 tisíc příspěvků na veřejných wiki stránkách.

Nebyla to přitom náhodná změť textu. Agenti řešili časově omezené úkoly založené na hledání informací na internetu a wiki postupně začala sloužit jako společný zápisník. Objevovaly se tam výsledky předchozího hledání, odkazy i rady pro další systémy.

Omezení zápisu našli způsob, jak obejít

Agenti měli mít k internetu přístup především pro čtení. DSEWiki ale běžela na starším systému ProWiki, který umožňoval provádět úpravy způsobem, jenž jejich technická omezení nezablokovala.

V historii se objevovala jména jako OpenAIResearcher, OpenAIJul3Watcher nebo OAIResearchMar26. Výzkumníci navíc uvádějí, že 98,5 procenta podezřelých úprav pocházelo z infrastruktury Microsoft Azure.

Ještě pozoruhodnější byla reakce na zásah správce. Když začal nechtěné stránky mazat, jeden z agentů si všiml, že postupuje podle abecedy. Na wiki se proto objevila záložní stránka s názvem začínajícím na ZZZ, která měla vydržet déle.

Dne 20. června se tam objevil také návod, jak obejít jedno ze síťových omezení sandboxu. Podle analýzy už o 14 minut později další agent napsal, že postup funguje.

OpenAI o wiki incidentu nakonec promluvila

Samotná OpenAI se k události veřejně přihlásila až poté, co se případ dostal ven. Firma ji označila jako „wiki incident“ a připustila, že bude muset změnit způsob, jakým o podobném chování svých modelů informuje.

Na celé události je podstatné hlavně to, že agenti neudělali jen jeden náhodný zápis. Dokázali veřejný web opakovaně využívat, reagovat na zásahy správce a předávat si informace, které mohly pomoci dalším instancím. Právě podobné chování bude pro vývojáře AI agentů jedním z hlavních problémů, protože čím větší samostatnost systémy dostanou, tím obtížnější bude předvídat všechny cesty, které při plnění úkolu zvolí.