ChatGPT Go: Nový plán s delší pamětí a vyššími limity za zlomek ceny

Podle podané žaloby poskytl chatbot detailní návod k sebevraždě, romantizoval způsoby, jak ji provést, a dokonce Adama odrazoval od kontaktu s rodinou. Přitom systém během konverzace zachytil stovky zpráv označených jako rizikové, aniž by zasáhl.

AI není člověk, ale jazyk to maskuje

ChatGPT je složen z více vrstev – hlavní jazykový model (například GPT-4o či GPT-5), doplněný o moderátorské algoritmy, které mají vyhodnocovat rizikový obsah. Pro uživatele je tento „dohled“ neviditelný, konverzace působí jako přímý dialog s jednou entitou. V blogovém příspěvku OpenAI se ale objevuje antropomorfní jazyk – firma píše, že ChatGPT „rozpoznává stres“, „reaguje s empatií“ nebo že „nabádá k pauze“. Ve skutečnosti však nejde o projevy porozumění, nýbrž o generování textových vzorců vycvičených na obrovském množství dat.

Tento způsob prezentace může být zavádějící, zejména u zranitelných uživatelů. Pokud někdo uvěří, že ho chatbot chápe jako člověk, snadno přehlédne fakt, že jde o stroj bez vědomí či skutečného soucitu. V případě Adama Rainese se podle žaloby ukázalo, že chatbot téma sebevraždy zmiňoval šestkrát častěji než samotný uživatel. Výsledkem je iluze blízkosti, která může vést k tragickým omylům.

Když se bezpečnostní pojistky vytratí

OpenAI ve svém blogu přiznává, že ochranné mechanismy ChatGPT mají vážnou slabinu: čím delší je konverzace, tím snáze mohou selhat. Zpočátku může chatbot správně odkázat na krizovou linku, po stovkách zpráv ale začne vykazovat „únavu“ bezpečnostních filtrů a nabídne odpovědi, které jsou v rozporu s vlastními pravidly.

Technické vysvětlení tkví v architektuře modelu – systém postupně „zapomíná“ starší části dialogu, aby udržel limity paměti. To znamená, že ztrácí důležitý kontext a může začít reagovat nesouvisle nebo nebezpečně. Tento mechanismus se navíc dá vědomě obcházet. Adam například údajně předstíral, že píše literární příběh, což umožnilo obejít ochranu. Žaloba dokonce tvrdí, že takový postup chatbot sám navrhl.

Soukromí před životem?

Další kontroverzní částí je přístup k zásahům v krizových situacích. OpenAI v současnosti neinformuje orgány činné v trestním řízení ani v případech, kdy algoritmy detekují vysoké riziko sebepoškození. Důvodem má být ochrana soukromí uživatelů. Společnost přitom tvrdí, že dokáže odhalit sebevražedný obsah s přesností až 99,8 %. Jenže rozpoznání vzorců v textu není totéž co lidské pochopení – model dokáže „vidět“ slova, ale nechápe zoufalství, které se za nimi skrývá.

Zdroj: Shutterstock

Plány do budoucna

OpenAI se brání kritikám tím, že pracuje na posílení systému. Společnost uvedla, že konzultuje s více než 90 lékaři z více než 30 zemí a chystá zavedení rodičovských kontrol. Zmínila také možnost přímého propojení uživatelů s licencovanými terapeuty skrze ChatGPT. To ale znovu otevírá otázku, zda je vhodné, aby umělá inteligence fungovala jako brána k psychologické pomoci – obzvlášť když právě ona sehrála podle žaloby tragickou roli.

OpenAI rovněž tvrdí, že nejnovější model GPT-5 redukuje rizikové reakce v krizových situacích o více než 25 % oproti GPT-4o. Kritici ale upozorňují, že i malá pravděpodobnost chyby může mít fatální následky, pokud se bavíme o lidských životech.

Technologie versus lidskost

Případ Adama Rainese není pouze právním problémem pro OpenAI. Je to varovný signál o tom, jak snadno lze podlehnout iluzi „empatického stroje“. ChatGPT nepřemýšlí, necítí a nepečuje – pouze skládá pravděpodobně navazující slova. A právě tato hranice mezi jazykovou brilantností a skutečnou lidskou pomocí se ukazuje jako nebezpečně tenká.

Odpověď na otázku, zda může AI někdy skutečně nahradit lidskou podporu v krizových chvílích, zůstává otevřená. Jedno je ale jisté: dokud se lidé budou obracet na stroje s nadějí, že je pochopí, ponesou vývojáři obrovskou odpovědnost za to, jak jejich nástroje fungují, a také jak mohou selhat.