Podle Business Insideru bylo na Spotify odstraněno více než 200 takových podcastů. Některé nesly názvy jako „My Adderall Store“ nebo „Xtrapharma.com“ a jejich epizody měly titulky typu „Order Codeine Online Safe Pharmacy Louisiana“ či „Order Xanax 2 mg Online Big Deal On Christmas Season“.

Ačkoliv by takové názvy zřejmě vyvolaly podezření u jakéhokoliv lidského moderátora, algoritmické detekční systémy Spotify selhaly. Podle CNN zůstala část těchto podcastů online celé měsíce.

Umělá inteligence zneužita k výrobě obsahu

Velká část těchto podcastů byla vytvořena pomocí nástrojů pro převod textu na řeč (text-to-speech). Často šlo o epizody kratší než jednu minutu – některé dokonce jen o několik vteřin – a v několika případech neobsahovaly vůbec žádný zvuk. Cílem bylo jediné: nalákat uživatele na odkazy vedoucí na pochybné nebo podvodné weby.

Zatímco technologie AI zjednodušila vytváření obsahu, zároveň otevřela dveře ke zneužití podcastových platforem. Falešné pořady tak mohly vznikat masově a levně – bez kontroly a snadno se dostat mezi relevantní výsledky vyhledávání pro uživatele hledající informace o zdravotních tématech.

Zdroj: Shutterstock

Slabiny v moderaci a právní ochrana

CNN cituje Katie Paul z neziskové organizace Tech Transparency Project, která upozorňuje na zásadní problém: většina platforem včetně Spotify má nízkou motivaci skutečně řešit uživatelsky generovaný obsah, protože jsou chráněny tzv. Section 230 zákona o komunikaci – tedy odpovědnost za obsah nesou spíše autoři než platformy.

Podle Paul však podcasty představují „větší slepé místo“, protože zvuk je obtížněji analyzovatelný než text nebo obraz. Spotify se tak ocitá v těžké pozici – moderovat obsah tohoto typu je technicky i organizačně náročnější.

Dopad na uživatele i veřejné mínění

Není zatím jasné, kolik uživatelů se k falešným podcastům dostalo nebo s nimi interagovalo. Je však znepokojivé, že se objevovaly ve výsledcích hledání u dotazů souvisejících s léky – například „Xanax“, „Adderall“ nebo „Codeine“ – kde by uživatel mohl očekávat zdravotní edukaci, nikoliv marketing černého trhu.

Celá kauza přichází v citlivém období – Spojené státy čelí vlně předávkování u mladistvých, kteří si objednávají léky online. Americký prezident Donald Trump dříve dokonce zavedl celonárodní pohotovost, právě kvůli hrozbě přísunu drog zvenčí. Technologické platformy jsou tak stále častěji pod tlakem veřejnosti i státních orgánů.

Reakce Spotify a nejistá budoucnost

Mluvčí Spotify pro Ars Technica uvedl, že všechny podcasty označené CNN a BI byly ihned odstraněny. Podle platformy šlo o „nelegální nebo spam obsah“, nicméně odmítl upřesnit, jaké jsou záruky, že se obdobné případy neobjeví znovu.

„Neustále pracujeme na detekci a odstranění závadného obsahu v rámci našich služeb,“ uvedla společnost. Nadále ale zůstává otázkou, zda boj s tímto fenoménem nebude spíše hrou na kočku a myš – zejména s ohledem na rapidní vývoj technologií umožňujících automatizovanou tvorbu obsahu.