Když Mark Zuckerberg v roce 2004 zakládal Facebook, věřil tomu, že jeho nástroj nebudou lidé zneužívat. Zpětně přiznává, že bylo naivní si to myslet. Největší sociální síť světa je i přes letité snahy stále plná obsahu, který je explicitní, vulgární nebo vyloženě násilný, a tak se o jeho odstraňování musí starat vedle umělé inteligence i několik tisíc lidí po celém světě.

Právě moderátorům facebookových příspěvků nyní Facebook vyplatí celkové odškodné 52 milionů dolarů (1,3 miliardy korun) za způsobené psychické problémy. Tímto vyrovnáním končí soudní spor z roku 2018, který v Kalifornii vedla jedna z bývalých moderátorek Facebooku.

Odškodnění se týká celkem 11 250 moderátorů obsahu, kteří ve Facebooku pracovali jako moderátoři od roku 2015 až dosud, a to v Kalifornii, Arizoně, Texasu a na Floridě. Každému z nich firma vyplatí minimálně 1 000 dolarů (25 tisíc korun), přičemž ti diagnostikování například s posttraumatickou stresovou poruchou dostanou dalších 6 000 dolarů (150 tisíc korun). Za další újmy ale mohou získat až 50 tisíc dolarů (přes 1,2 milionu korun).

Částky si ovšem dejme do kontextu: 1 000 dolarů vystačí v USA obvykle jen na několik hodin placené terapie, zároveň 56 milionů dolarů je pro Facebook kapka v moři. Pro srovnání, jeho zisk jen za první kvartál letošního roku činil 4,9 miliardy dolarů.

Žalobu ke kalifornskému soudu podala bývalá moderátorka obsahu Selena Scolaová a technologického giganta obvinila z toho že kvůli práci dostala posttraumatickou poruchu. Tvrdila, že den co den se musela v práci dívat na fotky znásilnění, vražd nebo sebevražd. K žalobě se později přidali i další moderátoři, pracující ve čtyřech různých amerických střediscích.

Že je moderace obsahu psychicky velmi náročná práce, není bohužel nový poznatek. Už před třemi lety upozornil britský The Guardian na příběh bývalého moderátora. „Každý den jdete do práce, zapnete počítač a koukáte se na někoho, komu useknou hlavu,“ říkal tehdy značně rozrušený anonymní moderátor.

Žalostné peníze a žádná pomoc

Na obrátkách začal celý problém nabírat především ve chvíli, kdy série investigativních článků poukázala na to, že se moderátoři musí potýkat nejen s psychickou náročností samotné činnosti, ale také s otřesnými podmínkami, které na pracovištích měli.

Podrobně podmínky popsaly reportáže magazínu The Verge z února a června minulého roku, o nichž si můžete podrobně přečíst i v našem shrnutí. V nich se například naplno ukázalo, že Facebook si moderátorskou kapacitu nakupuje od partnerů, kteří ovšem dávali za náročnou práci žalostné peníze, neposkytovali téměř žádnou psychologickou podporu a zaměstnanci museli snášet špinavá pracovní místa nebo nelidské chování kolegů.

Vše zašlo tak daleko, že jeden z moderátorů ze střediska ve floridské Tampě zemřel přímo na svém pracovním místě. V reakci na investigativu, v níž několik moderátorů popsalo hrůzné podmínky, nakonec v říjnu minulého roku jeden z partnerů svá centra zavřel.

Facebook se tehdy zavázal, že situaci bude řešit a ujistí se, že moderátoři pracující pro jeho partnery budou mít důstojné pracovní podmínky. V rámci vyrovnání se tak zavázal k tomu, že ti z moderátorů, kteří budou v práci sledovat explicitní obsah, dostanou přístup k individuálním konzultacím jednou za týden. K dispozici by měla být vždy do 24 hodin i rychlá psychologická péče.

Dále se Zuckerbergova společnost zavázala přijmout nová opatření na snížení psychických dopadů násilných příspěvků. Do konce tohoto roku by mělo 80 % všech moderátorů Facebooku mít k dispozici nástroje na to, aby k násilným videům nemuseli poslouchat zvuk nebo je mohli je mít pouze v černobílé škále. Všichni pak mají za nových podmínek pracovat do konce roku 2021.

Facebook také vytváří i pochopitelný tlak na samotné partnery – bude po nich požadovat například pečlivější náborové procesy, aby se zamezilo případům, kdy ke stolu usedne člověk, který není na práci psychicky připravený. Dříve nebyly na zmíněných místech prověrky de facto žádné.

Kdy už přijde umělá inteligence

Facebook způsoby moderace obsahu v dávnější minulosti příliš často nezveřejňoval, a tak mohl snadno vzniknout dojem, že násilná videa, pornografii nebo urážky odstraňuje již dávno umělá inteligence bez zásahů člověka.

Jak se ale dodnes ukazuje, tato technologie bohužel zatím stále není natolik dobrá, aby se bez lidské pomoci úplně obešla. Přestože již dnes odstraňuje nemalé procento závadných příspěvků, stále jich množství nezachytí.

Stává se ale i opak a systém odstraňuje takové příspěvky, které podle některých závadné vůbec nejsou. Pravidla na konkrétní případy a nuance jsou totiž velmi komplexní a nekonzistentní, ostatně stačí se podívat například na zoufalé příspěvky uživatelů na subredditu /r/Facebook.

I přes množství otevřených otázek ale Facebook nepolevuje a ve zdokonalování své umělé inteligence chce i nadále pokračovat. V posledních dnech tak zároveň vypsal veřejnou výzvu s výhrou 100 tisíc dolarů pro vývojáře, který vyvine úspěšný systém na detekci urážlivých memů.

Dal k tomu dispozici dataset deseti tisíc obrázků s textem, v nichž je sice samotný obrázek nebo text v pořádku, ale společně vytváří urážlivý význam (například obrázek tchoře s popiskem „voníš dneska krásně“).

Stejně jako u předchozích problémů s moderací obsahu ale i zde zůstává otevřená debata o tom, co je ještě vtipné a co už urážlivé, navíc pokud chce systém brát v potaz kulturní kontext, v němž se daný mem objeví.