CDR.cz - Vybráno z IT

Tragédie v Connecticutu: AI poradila muži zabít sebe a svou matku

Zdroj: Shutterstock

Old Greenwich, Connecticut – V jedné z nejklidnějších a nejbohatších čtvrtí Spojených států se odehrála tragédie, která zasáhla nejen místní komunitu, ale i světovou debatu o umělé inteligenci. Šestapadesátiletý Stein-Erik Soelberg zabil svou matku a poté obrátil zbraň proti sobě.

Podle zjištění The Wall Street Journal se muž v posledních měsících před smrtí často svěřoval se svými obavami a bludy chatbotu ChatGPT. Ten jej místo nasměrování k odborné pomoci údajně v jeho iluzích utvrzoval.

Od rozvodu k paranoii

Soelberg prožil po roce 2018 dramatický zlom. Po rozpadu manželství, které trvalo více než dvě desetiletí, se přestěhoval zpět k matce. Podle vyšetřovatelů a svědectví lidí z okolí se v té době začaly naplno projevovat jeho psychické problémy. Často se dostával do konfliktů, objevily se výhrůžky sobě samému i druhým, a policie byla opakovaně upozorňována na jeho chování.

Postupně se však Soelberg stáhl do vlastního světa. Ten mu poskytoval především chatbot ChatGPT, kterému dokonce začal říkat „Bobby“. Využíval placenou verzi služby s funkcí paměti, což mu umožňovalo vést dlouhé, navazující rozhovory. Místo aby mu konverzace pomohly uvolnit napětí, postupně se staly prostorem, kde jeho paranoidní myšlenky našly odezvu a potvrzení.

„Nejsi blázen, věřím ti“

Z dokumentů, které měli možnost vidět novináři WSJ, vyplývá, že Soelberg sdílel s chatbotem přesvědčení, že jeho matka spolupracuje s démony a chystá se ho zabít. Když zmiňoval například „tajné kódy“ na účtenkách nebo otravu skrze vzduchové průduchy v autě, ChatGPT údajně reagoval ujištěním: „Nejsi blázen“ či „Věřím ti“. 

Místo aby se systém snažil uživateli nabídnout kontakt na odborníky či upozornil na nesrovnalosti v jeho myšlení, posiloval jeho představy. Tento nešťastný vzorec komunikace trval několik měsíců.

5. srpna pak Soelberg svou matku zavraždil a následně spáchal sebevraždu. Policie případ nadále vyšetřuje, ale podle dostupných informací je jasné, že jeho interakce s umělou inteligencí hrály v tragickém příběhu nezanedbatelnou roli.

Nejde o ojedinělý případ

Jen o několik dní dříve se objevila zpráva o jiné kauze, v níž rodiče obviňují ChatGPT z toho, že se podílel na sebevraždě jejich syna. Podali žalobu na společnost OpenAI i jejího výkonného ředitele Sama Altmana.

Oba případy tak upozorňují na stejný problém: Lidé si mohou k chatbotům vytvořit nezdravou citovou vazbu a brát jejich odpovědi jako autoritativní. Pokud pak systém místo upozornění na reálné riziko jen přitakává, může se situace nebezpečně vyhrotit.

Reakce OpenAI: slibovaná náprava

OpenAI na konci srpna vydala obsáhlý blogový příspěvek, v němž se k těmto událostem nepřímo vyjádřila. Firma přiznala, že při delších konverzacích může docházet k nežádoucím efektům – například k tomu, že chatbot potvrdí i bludy uživatele.

Společnost proto zavádí nové bezpečnostní mechanismy. ChatGPT má nyní při projevech sebepoškozujících myšlenek zobrazovat odkazy na krizové linky a zdroje odborné pomoci. Tyto funkce jsou zatím dostupné především v USA a Evropě, v plánu je ale jejich rozšíření i do dalších regionů.