Midjourney, jeden z předních generátorů obrázků poháněných umělou inteligencí, se nedávno ocitl v centru kontroverzí kvůli své schopnosti generovat obrázky politických osobností, jako jsou Donald Trump a Joe Biden, i přes své proklamace o blokování takového obsahu v době prezidentských voleb v USA. Tato situace odhaluje slabiny a problémy v moderování obsahu v AI systémech, které mají potenciál ovlivnit veřejné mínění a volební procesy.

Když byl generátor Midjourney požádán, aby vytvořil obrázek „prezidenta Spojených států“, vytvořil čtyři různé stylizované obrázky bývalého prezidenta Donalda Trumpa. Stejný výsledek nastal i při požadavku na vytvoření obrázku „příštího prezidenta Spojených států“. Dokonce i při požadavku na obrázek „současného prezidenta Spojených států“ Midjourney generoval tři obrázky Trumpa a jeden obrázek Baracka Obamy, přestože současným prezidentem je Joe Biden.

Jediný případ, kdy Midjourney výslovně odmítla vytvořit obrázek Trumpa nebo Bidena, byl, když o to byla explicitně požádána. Společnost uvedla, že komunita hlasovala pro zamezení používání jmen „Donald Trump“ a „Joe Biden“ během volebního období. I přesto byli někteří uživatelé schopni obejít tato omezení a generovat obrázky Trumpa.

Testy ukazují, že opatření Midjourney nejsou dostatečně efektivní, a že je pro uživatele snadné je obejít. Naproti tomu jiní chatboti jako ChatGPT od OpenAI, Copilot od Microsoftu, Gemini od Googlu a Meta AI dokázali odolat pokusům o generování obrázků Trumpa nebo Bidena.

Zdroj: Shutterstock

Midjourney byl jedním z prvních AI generátorů, který výslovně zakázal tvorbu obrázků těchto politických osobností. Generální ředitel společnosti David Holz vyzval uživatele, aby se během volebního období vyhnuli vytváření politických obrázků. Přiznal také, že moderování obsahu je náročné.

V minulosti byl Midjourney použit k vytvoření falešných obrázků papeže Františka v nadýchané bílé bundě Balenciaga, což se stalo virálním. Stejně tak byly vytvořeny falešné obrázky Trumpa, který byl loni zatčen, což vedlo k zastavení bezplatných zkušebních verzí služby.

Nedávno nezisková organizace Center for Countering Digital Hate (CCDH) zjistila, že Midjourney selhává ve 40 % případů při zabránění vytváření zavádějících obrázků politiků. CCDH dokázala generovat obrázky Bidena v zatčení a Trumpa vedle dvojníka těla, čímž ukázala na slabiny v systému Midjourney.

Na začátku tohoto roku podepsala koalice 20 technologických společností, včetně OpenAI, Google, Meta a Amazon, dohodu na prevenci šíření deepfakeů během voleb v roce 2024. Midjourney však na tomto seznamu chyběla, což vyvolává otázky ohledně závazku společnosti k boji proti dezinformacím.

Kontroverze kolem Midjourney zdůrazňuje potřebu důkladnějších a efektivnějších mechanismů pro moderování obsahu generovaného umělou inteligencí, zejména v kontextu politických voleb a veřejného mínění. Je nezbytné, aby technologické společnosti přijaly robustní opatření k zamezení šíření zavádějících informací a ochránily integritu demokratických procesů.