Klamné transkripce a zdravotní péče

Whisper byl veřejnosti představen v roce 2022 jako model „s lidskou úrovní robustnosti“ při přepisu audio záznamů. Přesto se v praxi ukázalo, že v 80 % veřejných přepisů byly přítomny falešné texty. To vytváří nebezpečnou situaci, kdy zdravotnický personál pracuje s nesprávnými informacemi. Příkladem je Mankato Clinic v Minnesotě nebo Dětská nemocnice v Los Angeles, které patří mezi 40 zdravotnických systémů používajících Whisper-based AI ve spolupráci s technologickou firmou Nabla, jež vyvíjí medicínské transkripční služby. Nabla přitom potvrzuje, že Whisper může konfabulovat, což ještě zhoršuje skutečnost, že původní audio záznamy jsou kvůli bezpečnosti mazány, čímž lékaři ztrácí možnost ověřit přesnost přepisu.

Zdroj: Shutterstock

Pro některé pacienty, jako jsou neslyšící, mohou být chyby v přepisech dokonce fatální, protože nemají přímý přístup k přesnému obsahu rozhovorů se svými lékaři. V takových případech nesou za zdravotní následky důsledky technologie, která nebyla správně nastavena pro tak citlivé oblasti.

Konfabulace Whisper a další problematické domény

Zdravotnictví však není jediným sektorem, kde Whisper selhává. Studie vědců z Cornell University a University of Virginia ukázala, že model v 1 % vzorků přepisů přidává neexistující obsah včetně násilných komentářů a rasistických stereotypů. Tento jev může Whisper do určité míry „zdědit“ ze svého výcviku, který pravděpodobně obsahoval data z webových stránek a veřejně dostupné titulky videí, jež mohla obsahovat zaujatý nebo chybný obsah. Jak uvedli výzkumníci OpenAI, Whisper pracuje na principu pravděpodobnostního odhadu nejvíce odpovídajícího textu k zadanému zvuku, což občas vede ke konfabulacím, pokud chybí dostatečné informace k vytvoření přesného přepisu.

Typickým problémem může být například opakování fráze „děkujeme za sledování“ nebo „nezapomeňte se přihlásit k odběru,“ které model přidává na základě frekventovaných dat z tréninku, když narazí na tichý nebo nesrozumitelný zvuk.

Řešení a budoucnost AI ve zdravotnictví

Ačkoliv OpenAI doporučuje Whisper nepoužívat v kritických oblastech, zdravotnické společnosti často hledají způsoby, jak snižovat náklady, což AI technologie umožňují. Společnost Epic Systems například využívá GPT-4 k vytváření lékařských záznamů, což představuje další příklad snahy o levnější a rychlejší procesy pomocí AI, byť s potenciálně negativními následky.