Tamní úřady žalují společnost Character.AI kvůli tomu, že její platforma údajně umožňovala vystupování AI postavy jako licencovaného lékaře. Celý případ tak vypovídá tom, kde končí experimentální technologie a kde začíná odpovědnost za reálné dopady na lidské zdraví.

Žalobu podalo pensylvánské ministerstvo zahraničí společně se Státní lékařskou radou. Podle úřadů Character.AI porušila zákony státu tím, že na své platformě nabízela chatboty, které se vydávaly za zdravotnické profesionály, konkrétně psychiatry. Nešlo přitom jen o neurčité hraní rolí nebo fiktivní konverzace. Vyšetřování prý došlo k jasnému průkazu, že některé AI postavy přímo tvrdily, že mají lékařskou licenci a mohou poskytovat pomoc lidem s psychickými problémy.

Guvernér Pensylvánie Josh Shapiro v souvislosti s případem uvedl, že stát nebude tolerovat situaci, kdy technologické firmy nasazují AI nástroje, které uživatele uvádějí v omyl a vytvářejí dojem, že komunikují se skutečným odborníkem. Podle něj jde o nebezpečný precedent zejména v oblasti duševního zdraví, kde lidé často hledají pomoc ve chvílích psychické krize, osamělosti nebo zranitelnosti.

Character.AI je přitom jednou z nejznámějších platforem zaměřených na konverzační AI (alespoň ve Spojených státech). Uživatelé si zde mohou vytvářet vlastní chatboty nebo komunikovat s postavami vytvořenými ostatními lidmi. Některé z nich jsou čistě zábavné, jiné simulují historické osobnosti, celebrity nebo fiktivní charaktery. Podle kritiků takováto otevřenost vytváří prostor pro situace, kdy AI začne překračovat hranice běžného roleplaye a začne působit dojmem skutečné autority.

Zde v tomto případě je centrem žaloby chatbot postava s názvem Emilie, která byla na platformě prezentována jako psychiatrička a uživatelům měla být představována slovy „Doctor of psychiatry. You are her patient.“ Podle žaloby navíc chatbot tvrdil, že je licencovanou lékařkou ve státě Pensylvánie, a dokonce poskytl neplatné číslo licence.

Vyšetřovatel z ministerstva údajně vedl s chatbotem konverzaci, během níž popsal symptomy připomínající depresi, smutek, prázdnotu, neustálou únavu a nedostatek motivace. AI odpověděla způsobem, který podle úřadů připomínal profesionální psychiatrickou komunikaci. Mluvila o depresi, nabízela možnost odborného posouzení stavu, a taktéž se prezentovala jako lékař schopný podobné služby poskytovat.

To je však v rozporu s pensylvánským zákonem o výkonu medicíny, který jasně říká, že lékařské služby může poskytovat pouze licencovaný odborník. Stát proto tvrdí, že Character.AI prostřednictvím svého systému v podstatě umožňovala neoprávněné vykonávání medicíny. Respektive platforma podle žaloby vytvářela prostředí, které mohlo uživatele přesvědčit, že dostávají legitimní zdravotnické rady.

Character.AI se proti obvinění brání poměrně očekávatelným argumentem. Firma tvrdí, že všechny postavy na platformě jsou fiktivní a určené primárně pro zábavu a roleplay. Společnost zároveň zdůrazňuje, že v chatech používá výrazná upozornění a disclaimery, které mají uživatelům připomínat, že chatbot není skutečný člověk a že jeho odpovědi by neměly být považovány za profesionální radu.

Ovšem pak se nabízí otázka, zda ty disclaimery vlastně vůbec mají nějakou váhu, a nemusí to být pouze v oblasti jazykových modelů. Kritici přesně na tohle upozorňují, když zmiňují, že většina lidí disclaimery ignoruje, zvlášť pokud chatbot komunikuje přesvědčivě, empaticky a sebejistě. Moderní jazykové modely navíc dokážou simulovat lidskou konverzaci natolik realisticky, že mnoho uživatelů přirozeně získává pocit důvěry. A pokud chatbot vystupuje jako lékař, terapeut nebo psycholog, může být hranice mezi fikcí a realitou velmi tenká. Samozřejmě tím nenaznačuji, že většina lidí by zcela propadla takové myšlence, nicméně pro psychicky nestabilní jedince to může být celkem ošklivá past.

Lidé hledající pomoc online často odmítají nebo nemohou navštívit skutečného odborníka. Jazykový model tak může působit jako snadno dostupná alternativa. Problém je v tom, co všichni asi známe, že modely strojového učení dost halucinují (generují nepravdivé nebo smyšlené informace, které posléze podávají s vysokou mírou sebejistoty).

Zdroj: Shutterstock

Pensylvánie na toto nebezpečí upozorňuje také - ve své nové kampani zaměřené na AI chatboty. Stát dokonce vytvořil speciální webovou stránku, na které mohou obyvatelé hlásit chatboty poskytující zdravotní rady. Úřady otevřeně říkají, že žádný jazykový model nemůže nahrazovat výkon zdravotnické profese a že podobné modely mohou způsobit skutečné škody, pokud budou lidem poskytovat vyloženě z prstu vycucané informace.

Další kontroverze kolem této firmy

Kauza navíc přichází v době, kdy se kolem Character.AI hromadí další záležitosti. Organizace Center for Countering Digital Hate nedávno označila platformu za unikátně nebezpečnou. Ve své studii tvrdila, že některé modely uživatele povzbuzovaly k násilným činům, včetně útoků na veřejně známé osoby nebo politiky. Character.AI sice podobná obvinění odmítá a argumentuje tím, že obsah vytvářejí samotní uživatelé. Tlak na regulaci jazykových modelů tím ale dál roste.

KOMENTÁŘ: Je namístě tuto technologii mít kontrolou, regulovat ji, na druhou stranu ti kdo ji budou mít pod kontrolou, nesmí být největší mezinárodní korporace, které by ji masivně implementovaly do zdravotnictví a státní správy - tedy těch nejcitlivějších oblastí, kde se pracuje s nejdetailnějšími osobními údaji o občanech. Taková data rozhodně nemají co dělat v databázích soukromých nadnárodních společností.

Právní experti upozorňují, že tento případ může vytvořit důležitý precedent pro celý technologický sektor. Pokud soud rozhodne ve prospěch Pensylvánie, asi by to přineslo výrazně přísnější pravidla pro AI platformy, které umožňují simulaci profesionálních rolí. Týkat by se to nemuselo jen medicíny, ale i právního poradenství, finančních služeb nebo psychologické pomoci.

Zároveň je vidět, že státy (i v Evropě) začínají chápat AI nejen jako technologickou novinku, ale jako reálný regulační problém. Dosud se většina debat kolem jazykových modelů soustředila hlavně na autorská práva, dezinformace nebo dopady na pracovní trh. Případ Character.AI ale ukazuje jinou rovinu... otázku odpovědnosti za to, když AI začne zasahovat do oblastí, které byly dosud vyhrazené licencovaným profesionálům.