Facebook se již nějakou dobu snaží analyzovat a identifikovat případné náznaky sebevražedného jednání. Pomocí umělé inteligence skenuje příspěvky uživatelů, lajky a veškerou aktivitu, aby je pak následně vyhodnotil a zjistil, zda uživatel náhodou nepřemýšlí o sebevraždě. V případě podezřelého chování pak systém informuje vyškolené zaměstnance, kteří podnikají další kroky.

V budoucnu by pak tento systém měl odhalovat podezřelé chování obecně, nejen co se týče sebevražd, ale i kyberšikany či jakýchkoliv dalších projevů násilí. Konkrétně v USA je sebevražda druhou nejčastější příčinou úmrtí osob mladších 44 let s celkovým počtem obětí čítající zhruba 50 000 ročně.

Tento systém je pak zaváděn postupně celosvětově, až na členské státy Evropské unie, u kterých to zamezují restrikce v podobě GDPR. Záchranáři zkrátka nemohou vyjet na základě informací od společnosti Facebook k podezřelému uživateli jen jako prevence a následně informovat Facebook o výsledcích návštěvy.

Tento algoritmus běží na Facebooku již od roku 2017 a údajně již identifikoval nespočet podezřelých situací, na základě kterých bylo k ohroženým uživatelům vyslán pracovník záchranné služby více jak 3500krát. Psychiatr z Harvardské univerzity, John Torous, na druhou stranu poznamenal, že to může napáchat více škody než užitku. Doslova pak prohlásil: „My se jakožto veřejnost účastníme tohoto velkého experimentu, ale prozatím nevíme, zda je to vůbec užitečné nebo ne.“

Torous již v minulosti spolupracoval např. s takovými společnostmi jako je Microsoft. O plánech Facebooku a jeho novém nástroji však slyšel až dlouho po jeho spuštění. Důvodem je, že se Facebook nikde příliš o své nové technologii nezmiňoval. Dokonce ani neuveřejnil bližší detaily o tom, jak nástroj funguje, či jakým způsobem dochází k analýze dat.

Facebook se ohání tím, že se nejedná o žádný zdravotni produkt či vědeckou výzkumnou činnost. Je to podle něj stejné, jako když na ulici vidíte někoho volat o pomoc. Tento produkt, stejně jako celá řada dalších zdravotních aplikací, jsou pro vývojáře velkou revolucí, ale pro zdravotníky jsou spíše zdvižený varovný prst.

Torous je jakožto psychiatr velice dobře obeznámen s touto problematikou a poukázal na 17 vědeckých studií, ve kterých je analyzováno celkem 64 modelů, jak předpovědět sebevraždu s tím, že ani jeden není stoprocentní. Zakladatel Save.org, Daniel Reidenberg, si na druhou stranu myslí, že v oblasti sebevražd dělá Facebook dobrou práci, ale problém je, že s nikým nespolupracuje. Z toho vyplívá, že se dá očekávat celá řada problémů.