CDR.cz - Vybráno z IT

Když AI halucinuje: Výzkumník odhalil chyby ChatGPT v soudním podání

Zdroj: Shutterstock

V současné době, kdy umělá inteligence čím dál více proniká do různých oblastí života, se ukazuje, že i odborníci na problematiku dezinformací mohou narazit na její limity. Výzkumník Jeff Hancock, zakladatel Stanford Social Media Lab, přiznal, že při přípravě svého soudního podání využil ChatGPT. Tento krok vedl ke vzniku tzv. „halucinací“ – nepravdivých informací, které umělá inteligence generovala, což vedlo k otázkám ohledně důvěryhodnosti celého dokumentu.
Přidejte si CDR do oblíbených na Google News

Pozadí případu

Hancock podal svůj dokument jako podporu zákona Minnesoty „Use of Deep Fake Technology to Influence an Election“. Tento zákon se stal předmětem soudního sporu, kdy ho napadli konzervativní YouTuber Christopher Khols, známý pod přezdívkou Mr. Reagan, a státní zástupkyně Minnesoty Mary Franson. Kholsovi právníci brzy upozornili, že Hancockův dokument obsahuje citace, které ve skutečnosti neexistují. Na základě toho označili podání za „nespolehlivé“ a požádali o jeho vyloučení z řízení.

Role ChatGPT a vznik chyb

Jeff Hancock přiznal, že při sestavování podání využil GPT-4o (verzi nástroje ChatGPT). Ten měl pomoci s organizací citací a identifikací odborných článků, které by mohly být relevantní pro jeho argumentaci. Hancock však zdůraznil, že samotný text podání byl jeho vlastní prací a že za jeho odbornými tvrzeními stojí aktuální výzkum v oblasti dezinformací a dopadů AI na společnost.

Hlavním problémem byly dva konkrétní případy falešných citací, které AI vytvořila. Kromě toho nástroj přidal nesprávné autory k jedné další citaci. Tyto chyby Hancock přehlédl a nebyly zjištěny před podáním dokumentu.

 

Zdroj: Shutterstock

Reakce Hancocka

V dodatečném prohlášení Hancock uvedl, že neměl v úmyslu nikoho uvést v omyl a omluvil se za případné nejasnosti. Přesto zdůraznil, že tyto chyby nemění podstatu jeho argumentů. „Stojím pevně za všemi věcnými body v této deklaraci,“ napsal ve svém prohlášení a dodal, že se jednalo o lidský dohled nad technologií, který selhal.

Kritika a širší důsledky

Kritici tvrdí, že tento incident odhaluje rizika spojená s použitím nástrojů AI v citlivých oblastech, jako jsou soudní spory nebo akademický výzkum. Umělá inteligence sice může zjednodušit některé procesy, ale její „halucinace“ mohou mít vážné důsledky, zejména pokud nejsou odhaleny včas. V tomto případě byly chyby rychle zjištěny a měly pouze omezený dopad, avšak podobné situace mohou v budoucnu narušit důvěru v AI a její aplikace.

Případ Hancock ukazuje, že i odborníci, kteří dobře rozumí dezinformacím a technologii, mohou podcenit rizika spojená s používáním AI. Využití nástrojů jako ChatGPT v takto důležitých procesech vyžaduje pečlivý dohled a důkladné ověřování všech výstupů.

Diskuze

Diskuse ke článku Když AI halucinuje: Výzkumník odhalil chyby ChatGPT v soudním podání

Pátek, 6 Prosinec 2024 - 13:11 | CyberAngel | Lidé zapomínají na to, že ChatGPT je generativní...

Zobrazit diskusi

CDR Hry

DIIT
Velikost či význam firmy lze hodnotit různě. Tržní kapitalizací, vývojem ceny akcií, podílem na trhu, čistým ziskem, ale také výší příjmů. Právě v tomto ohledu se situace poprvé v historii mění…
DIIT
Microsoft představil technologii Clustered Geometry, která spolu s PTLAS představuje jednu z největších změn v DirectX Raytracing (DXR) od jeho vydání roku 2018. Snižuje celkové nároky raytracingu…
DIIT
V souvislosti se zveřejněním finančních výsledků za třetí kvartál vyřkla AMD prognózu pro příští rok. Segment AI a serverů samozřejmě čeká zářná budoucnost, ale osobní počítače spadnou…
DIIT
Nepůjde přitom o upravený limit pro teplotní strop ani jeho snížení, jde skutečně o další, novou hranici, která se bude podílet na chování této generace procesorů v zátěži…
DIIT
Nejen GeForce RTX 5090 a GeForce RTX 5080. Dostupnost většiny modelů řady GeForce RTX 5000 se začíná zhoršovat. Nespokojeným distributorům výrobci karet vzkázali, ať prodávají GeForce RTX 3050 / 3060…