Když AI halucinuje: Výzkumník odhalil chyby ChatGPT v soudním podání
Zdroj: Shutterstock
V současné době, kdy umělá inteligence čím dál více proniká do různých oblastí života, se ukazuje, že i odborníci na problematiku dezinformací mohou narazit na její limity. Výzkumník Jeff Hancock, zakladatel Stanford Social Media Lab, přiznal, že při přípravě svého soudního podání využil ChatGPT. Tento krok vedl ke vzniku tzv. „halucinací“ – nepravdivých informací, které umělá inteligence generovala, což vedlo k otázkám ohledně důvěryhodnosti celého dokumentu.
Pozadí případu
Hancock podal svůj dokument jako podporu zákona Minnesoty „Use of Deep Fake Technology to Influence an Election“. Tento zákon se stal předmětem soudního sporu, kdy ho napadli konzervativní YouTuber Christopher Khols, známý pod přezdívkou Mr. Reagan, a státní zástupkyně Minnesoty Mary Franson. Kholsovi právníci brzy upozornili, že Hancockův dokument obsahuje citace, které ve skutečnosti neexistují. Na základě toho označili podání za „nespolehlivé“ a požádali o jeho vyloučení z řízení.
Role ChatGPT a vznik chyb
Jeff Hancock přiznal, že při sestavování podání využil GPT-4o (verzi nástroje ChatGPT). Ten měl pomoci s organizací citací a identifikací odborných článků, které by mohly být relevantní pro jeho argumentaci. Hancock však zdůraznil, že samotný text podání byl jeho vlastní prací a že za jeho odbornými tvrzeními stojí aktuální výzkum v oblasti dezinformací a dopadů AI na společnost.
Hlavním problémem byly dva konkrétní případy falešných citací, které AI vytvořila. Kromě toho nástroj přidal nesprávné autory k jedné další citaci. Tyto chyby Hancock přehlédl a nebyly zjištěny před podáním dokumentu.
Zdroj: Shutterstock
Reakce Hancocka
V dodatečném prohlášení Hancock uvedl, že neměl v úmyslu nikoho uvést v omyl a omluvil se za případné nejasnosti. Přesto zdůraznil, že tyto chyby nemění podstatu jeho argumentů. „Stojím pevně za všemi věcnými body v této deklaraci,“ napsal ve svém prohlášení a dodal, že se jednalo o lidský dohled nad technologií, který selhal.
Kritika a širší důsledky
Kritici tvrdí, že tento incident odhaluje rizika spojená s použitím nástrojů AI v citlivých oblastech, jako jsou soudní spory nebo akademický výzkum. Umělá inteligence sice může zjednodušit některé procesy, ale její „halucinace“ mohou mít vážné důsledky, zejména pokud nejsou odhaleny včas. V tomto případě byly chyby rychle zjištěny a měly pouze omezený dopad, avšak podobné situace mohou v budoucnu narušit důvěru v AI a její aplikace.
Případ Hancock ukazuje, že i odborníci, kteří dobře rozumí dezinformacím a technologii, mohou podcenit rizika spojená s používáním AI. Využití nástrojů jako ChatGPT v takto důležitých procesech vyžaduje pečlivý dohled a důkladné ověřování všech výstupů.
Zdroje:
