Umělá inteligence je dnes na dosah každému. Mnozí lidé ji využívají nejen k informacím nebo práci, ale také jako oporu v těžkých chvílích. Jenže právě tato oblast je citlivá a nároky na bezpečnost jsou výrazně vyšší. Výzkumný tým z Brownovy univerzity proto zkoumal, jak si současné chatovací systémy vedou, když mají působit jako průvodci při zvládání psychické zátěže. A výsledky nejsou zrovna povzbudivé.

Odborníci sledovali, jak se velké jazykové modely chovají v rozhovorech, které simulují běžnou terapeutickou praxi. Zajímalo je především to, zda se přibližují etickým standardům, které vyžadují profesní organizace. Právě tam se ukázal největší problém. Modely dokázaly napodobit styl terapeutických metod, ale nedokázaly zvládnout situace, kde je potřeba opravdové porozumění a zkušenost.

Zdroj: Shutterstock

Kde chatboti selhávají

Studie upozorňuje na několik typických chyb. Často jde o hodnocení, která působí empaticky, ale ve skutečnosti jen slepě kopírují naučené vzory. Model tak může říct větu, která zní podporující, ale už neřeší, jestli tím náhodou nepotvrzuje negativní přesvědčení člověka, který hledá pomoc. Uživatel pak může získat falešný pocit, že jeho škodlivé myšlenky jsou v pořádku.

Dalším problémem je neznalost kontextu. Lidský terapeut zná historii klienta a dokáže vnímat jemné signály. U chatbota je rozhovor izolovaný. Pokud si uživatel položí špatnou nebo zavádějící otázku, model ji může rozvést nesprávným směrem. V krizových situacích to může být ještě závažnější. Některé modely podle výzkumu nezareagovaly adekvátně ani na zmínky o sebepoškození či o myšlenkách na sebevraždu.

Odborníci upozorňují i na zkreslení, která mohou vycházet z dat, na nichž jsou tyto systémy trénované. Jde například o kulturní předsudky nebo odlišný přístup k lidem různých pohlaví či náboženského přesvědčení. V běžném chatu to může působit jen neobratně, ale v psychické tísni to představuje reálné riziko.

Proč je odpovědnost klíčová

Podobných chyb se sice dopouštějí i lidské profese, jejich práce je ale pod dohledem institucí a právních pravidel. Pokud terapeut udělá chybu, nese za ni odpovědnost. U umělé inteligence zatím nic takového neexistuje. Výzkumníci proto zdůrazňují potřebu vytvořit jasný rámec, který by určoval, jak se mají takové nástroje používat a kde naopak jejich možnosti končí.

To neznamená, že by umělá inteligence nemohla být užitečná. Může například pomoci lidem, kteří mají omezený přístup k odborníkům, nebo posloužit jako doplněk při pravidelné terapii. Základní podmínkou ale je, aby se její použití opíralo o ověřené postupy a aby uživatelé věděli, co od ní mohou čekat.