Under 2017 har Facebook ändrat sin mission statement något. Ett åtagande att "göra världen mer öppen och sammankopplad" utlovades, och i dess ställe dök avsikten upp "att ge människor möjlighet att bygga gemenskap och föra världen närmare varandra."
Du kan se detta som ett erkännande att "öppning" har misslyckats. "Öppen" betyder öppen för hatretorik, barnmisshandel, våld, sex och den sortens olagliga handlingar som Facebook inte skulle ha något att göra med. Och ändå måste samhället nu städa upp denna skada varje timme, varje dag.
Eller rättare sagt, han anställer främlingar för att göra sitt smutsiga arbete. I The Cleaners, en dokumentär av Hans Block och Moritz Riesewieck, diskuterar filippinska affärsmän uppriktigt den ständiga strömmen av sex, våld och hatretorik som de måste filtrera varje dag.
Tidigare Facebook-moderator Chris Gray och filmskaparen Moritz Riesewieck på Mozfest 2019
(Bildkredit: Connor Ballard-Bateman)
Varje beslut ska tas inom åtta till tio sekunder, och "tänk inte för mycket" är ett direkt citat från utbildningsmaterialet som det är. "Oroa dig inte för mycket om huruvida ditt beslut är rätt eller fel, annars kommer du att tänka över det och inte kunna fatta ett beslut", säger Riesewieck till TechRadar på Mozillas Mozfest, där han och hans andra regissör kommer ifrån. Var med i en diskussionsgrupp för internetmoderering.
Om ett företag någonsin behövt insistera på tanken att alla problem kan lösas med tillräckligt med pengar, så är det Facebook. Och än så länge växer problemet bara. 2009 hade Facebook bara 12 (ja, tolv) innehållsmoderatorer som såg till 120 miljoner användares välbefinnande. Det finns nu mer än två miljarder människor på plattformen och runt 15,000 2019 moderatorer. Även om detta betyder att förhållandet mellan moderator och användare har gått från måttligt till lågt, är det värt att notera att Facebook XNUMX är väldigt annorlunda än för ett decennium sedan när "J"-knappen användes. Som "var den senaste innovationen och Facebook Live, det fanns fortfarande många år.
"Det värsta av det värsta av internetavfall"
"Det uppskattas att omkring 100,000 4 yrkesverksamma arbetar inom detta område", säger Clara Tsao, en Mozilla-kollega och expert på att bekämpa desinformation online. "De hanterar det värsta av det värsta internetavfallet", tillägger han och noterar att de den XNUMX januari bokstavligen kallas "vaktmästare".
Men till skillnad från verkliga vaktmästare är internetstädare inte alltid utrustade med rätt hårdvara för den stora uppgiften. Facebooks filippinska kontingent stötte ibland på utbyten på språk de inte talade, med hjälp av Google Translate för att förstå innebörden. Detta får oundvikligen en tung ton, även innan man tar itu med de oundvikliga kulturella skillnaderna mellan länder åtskilda av ett åtta timmar långt gap mellan tidszoner.
Facebook-moderatorer måste övervaka stora mängder innehåll från hela världen och kan behöva betygsätta konversationer på ett språk de inte talar.
(Bildkredit: Shutterstock)
Facebook-moderatorer finns inte bara i Filippinerna. Det finns kontor över hela världen, och det är i Dublin som Chris Gray befann sig efter att ha tillbringat en period med undervisning i Asien. Han är nu moderatorernas ledande målsägande i High Court-processen mot Facebook. Under en niomånadersperiod på företaget (i Irland har de flesta arbetare ett 11-månaderskontrakt, men de flesta går tidigt), försökte Gray 500 till 600 innehåll per natt, vanligtvis från 18 till 2. . Bara ett år efter sin avgång fick han officiellt diagnosen posttraumatisk stressyndrom.
"Det tog mig ett år att inse att det här jobbet hade slagit ut mig", sa han i gruppdiskussionen. Denna försenade reaktion, berättar Riesewieck, är inte helt ovanlig. – I vissa fall berättade de att det främst var deras vänner som berättade att de hade förändrats, säger han.
Det tog mig ett år att inse att det här jobbet hade slagit mig på röven
Chris GrayI alla fall är många av Grays tidigare kollegor glada över att se att han har brutit mot NDA och dragit ut på rättegången, även om de inte är redo att säga det offentligt för l & # 39; nu. "Folk kommer bara ut ur skogen och säger, 'Åh, tack och lov, någon talade upp och sa det'", sa han till LaComparacion senare.
För att vara tydlig, trots att han personligen påverkades av verket, tycker Gray att det är missvisande att anta att det är en oändlig aktivitet av gore, sexuellt utnyttjande och utnyttjande. "För att vara ärlig är det mesta av arbetet tråkigt", säger han. "Det här är bara människor som rapporterar varandra för att de bråkar och vill använda någon process för att kommunicera med den andra personen."
Tråkigt, men högt tryck. På det irländska kontoret hade Gray 30 sekunder på sig att fälla en dom över innehållet, vilket var en förolämpning mot en rad eller en 30-minuters video. . "Om din lyssnare klickade (på en video) två sekunder efter dig och såg något annat, hörde en annan förolämpning eller såg något högre upp i prioriteringshierarkin, så inse det, du tog ett dåligt beslut." Dåliga beslut påverkar kvalitetsnivån, och kvalitetsnivån påverkar ditt arbete. Trots detta var kontorets mål en nästan omöjlig noggrannhet på 98 %.
Super Heroes
Det är svårt att hitta folk att prata om sin modereringsupplevelse, som Block och Riesewieck fann när de sökte efter ämnen. NDA är universella och verket klassificeras under ett kodnamn: vid tidpunkten för inspelningen var det "Honey Badger Project".
Trots detta anställer Facebook, eller underleverantörer som visar återhållsamhet, öppet, även om de ofta är extremt vilseledande om vad jobbet egentligen innebär. "De använder superhjältar i kostymer, "kom igen, var superhjältar, städa upp på internet", säger Gabi Ivens, en annan Mozilla-medlem i panelen. En annons i Tyskland för innehållsmoderatorer ställde frågor som "gillar du sociala medier och vill hålla dig uppdaterad med vad som händer i världen?"
Trots den allmänna tristess i vardagen är Block och Riesewiecks dokumentärer överraskande: många av personerna i deras intervjuer är mycket stolta över denna roll, eftersom de anser att det är mindre en plikt än ett jobb.
Filippinska Facebook-moderatorer sa till regissörerna Hans Block och Moritz Riesewieck att de ansåg att det var deras etiska plikt att städa upp Internet.
(Bildkredit: Shutterstock)
"De sa till oss att de kände sig som internetsuperhjältar, som poliser som poliser internet," sa Block. Administratörer tillskriver detta delvis till Filippinernas 90 procent kristna befolkning. "De sa till oss att de kände att Jesus befriade världen", tillägger Block. Detta kan i sin tur göra att människor drar sig för att lämna, ser det som en etisk plikt och inte bara ett jobb.
Men det finns gränser för detta, speciellt eftersom moderatorerna inte gör de sista samtalen själva. Här är den heliga texten Facebooks labyrintiska uppsättning regler och instruktioner: tusentals ord som samlats under många år. I vissa fall måste människor skydda tal som de anser borde förbjudas, eller förbjuda ord som de tycker borde skyddas, vilket Ivens menar är ett tydligt problem för välbefinnandet. "Att underhålla innehåll online som du tror inte borde vara ska vara extremt skadligt innan du ens tänker på vad folk ser."
Det ironiska med att betrakta reglerna som heliga är att Facebooks regler aldrig har varit en ofelbar frusen text: de är resultatet av åratal av iterativa förändringar, som gradvis reagerar på kriser när de uppstår och försöker göra det subjektiva mer syftet.
Att hålla innehåll online som du inte tycker borde vara online är extremt skadligt innan du ens tänker på vad folk ser.
Gabi IvensKommer du ihåg kampanjen "Free Nipple"? Kort sagt, Facebooks riktlinjer angav ursprungligen att alla fotografier med bröst skulle förbjudas som pornografi, vilket innebar att internet berövades stolta mammor som ammade på plattformen. Facebook har successivt ändrat sina regler och accepterat att sammanhanget spelar roll. Likaså måste vi acceptera att, även om det inte finns något olagligt med att äta tidvattenskida eller sprida anti-vaccinationsteorier, om något blir en folkhälsoepidemi, är det därför din plikt att agera.
"Vissa plattformar säger att en del av innehållet kanske inte är olagligt, men det är oacceptabelt", säger Tsao. Men "andra tycker att internet borde ha större friheter att säga vad det vill." För Facebook producerar denna dikotomi absurda nivåer av granularitet: "Nu har vi några ledtrådar om att hota att trycka bort någon från taket," säger Gray. "Att knuffa är inte en våldsam handling. Att vara i taket är viktigt, men hur högt är det?" Synd att "inte tänka för mycket."
Denna typ av tröghet i modereringsriktlinjer gör att internettroll kan frodas. Du behöver inte leta hårt för att hitta exempel på internetrykten som går rakt på sak utan att gå överbord. Istället lämnar de det till sina anhängare, och ibland, katastrofalt, rinner det ut i den verkliga världen.
Moral går inte över gränser
Facebooks globala status gör problemet ännu mer komplext eftersom moral inte delas över gränserna. "Det är komplicerat eftersom det går utöver den lokala politiken i länder och gränsar till ett vilda västern", säger Tsao.
Gray ger ett exempel på människors sexualitet: gay pride är mycket närvarande i de flesta västländer, men mindre så någon annanstans i världen. Du kan tagga en vän som gay i ett inlägg och de känner sig tillräckligt bekväma med sin sexualitet för att dela den. Så i det här fallet är det rimligt att inte sluta, även om en homofobisk tjej klagar på det.
Moral är inte ett globalt begrepp. vilket gör internationell innehållsmoderering mycket utmanande
(Bildkredit: Shutterstock)
"Men om du är i Nigeria kan du bli slagen eller dödad för att någon ser det här meddelandet", säger han. "Det här misstaget kan kosta någon livet. Jag menar, det är verklighet: ibland ser man på liv eller dödssituationer."
Objektiva våldshandlingar borde vara mer specifika, men det är de inte. Videon som visar ett barn som skjuts kan tyckas vara en självklar kandidat för förtryck, men vad händer om medborgarjournalistiken avslöjar orapporterade krigsförbrytelser? Om Facebook gör sig av med det, är det inte bara den omedvetna propagandaflygeln av världens värsta despoter?
Det är verkligheten: ibland ser vi på liv eller dödssituationer.
Chris GrayDet är komplext, lätt förvirrat och hjälper inte arbetare att bedöma utifrån deras objektiva svar på subjektiva positioner. "Folk protesterar och dyker upp vid mitt skrivbord", sa Gray i panelen. "Och jag måste ringa: Är den här bebisen död? Då måste jag trycka på rätt knapp. Om jag trycker på fel knapp för att min lyssnare tror att bebisen inte är död, då har jag fel och jag når kvalitetsnivån och Jag får sparken.
"Så jag ligger vaken på natten i sängen, tittar på bilden igen och försöker argumentera för att behålla mitt jobb."
Går det att reparera?
Det borde vara ganska uppenbart vid det här laget att det inte är helt Facebooks fel, även om företaget inte var till hjälp under hela processen. Men vad kan han göra? Det är ganska uppenbart att problemet inte kommer att fungera och att AI-moderering inte är redo för showen. (Och det finns legitima frågor om detta.) För att börja behöver du människor för att träna AI, som flyttar trauma ett steg tillbaka. 39 kommer det att vara mycket svårt att helt ta bort människor från slingan", säger Tsao).
"Facebook har ingen tydlig strategi för detta", säger Gray. "Allt är reaktivt. Något händer, så de skapar en ny regel och anställer fler människor. Han tror att bristen på ledarskap är roten till problemet. "Du måste veta vart du är på väg med det och vad din strategi är, och "De gör det inte. Allt följer av det."
Roderick Ordens, professor i psykologi, anser att det är oerhört viktigt att ingen gör den här typen av arbete ensam. Ansvaret vilar inte helt på en person.
(Bildkredit: Shutterstock)
Det tror Tsao delvis beror på att beslutsfattare inte behövde göra det själva. "Jag har intervjuat personer som ansvarar för förtroende och säkerhet i företag, och en av dem har alltid sagt: "Om du vill spela en ledande roll inom det här yrkesområdet måste du förstå hur det fungerar." ner", säger hon. "Du måste förstå traumat, du måste förstå vilken typ av stödsystem som behövs."
Roderick Ordens, professor i psykologi vid University of Lincoln, har sina egna perspektiv när han kontaktas. "Det finns en aktsamhetsplikt. Det här garanterar inte på något sätt att det inte kommer att inträffa skadade personer bland personer som ser den här typen av material, men det måste inses att företaget har gjort allt rimligt för att minska riskerna för personalen.
Ingen ska göra den här typen av arbete ensam. Och om det gjordes av en grupp, då är det som verkligen spelar roll gruppens starka sammanhållning.
Roderick order"För det första borde ingen göra den här typen av arbete ensam. Och om det gjordes av en grupp, då är det som verkligen betyder något den starka sammanhållningen i gruppen. Det är väldigt viktigt att organisera detta så att ansvaret inte uppfattas som individens ansvar.
Enligt Ordens måste alla företag som anställs för "sådant farligt arbete" få utbildning för att tillåta anställda att känna igen varningsskyltarna: "en allmän känsla av obehag, av att inte kunna koppla av efter jobbet, kanske överdrivet orolig för vissa bilder "Och vara särskilt uppmärksam på om sömnen påverkas: med en ansamling av dålig sömn är allt annat mycket värre."
"Vad stör ditt sinne?"
Om Facebook är intresserad av sådan kunskap är ett annat problem. "Vi låtsas inte att all skuld ligger på företagssidan, det är inte sant", säger Block. "Felet, åtminstone enligt vår mening, är att de inte gör det transparent, de öppnar inte diskussionen och de accepterar inte att de inte kan bestämma över allt detta ensamma." Block och Riesewieck vet att vissa Facebook-anställda såg sin film under en visning i San Francisco, och det talades till och med om att visa den på Facebook-kontor, så uppföljande e-postmeddelanden är mystiskt obesvarade.
Det är sant att NDA-behandlingen inte hjälper, och det stora antalet ex-anställda och ex-anställda som är förknippade med dem gör att effekten oundvikligen kommer att minska eftersom det finns en viss säkerhet i antalet. Gray hade inga Facebook-nyheter för att sprida sina, åtminstone inte direkt.
"Jag fick ett samtal från en före detta kollega... för några veckor sedan. De sa, "Hej, de sa till mig att Facebook stämmer dig." Nej. Vem sa du att de stämde mig? "Min lagledare." ditt team försöker manipulera dig till att vara tyst."
Jag vet inte om något har gjorts än. Du vet, det går bara i ett vakuum, verkar det som
Chris GrayBalansen mellan moroten och pinnen är med andra ord lika komisk som Facebook-moderatorn/användarrapporten. Eftersom människor vill förbättra Internet, kanske Facebook kan utnyttja den meningen?
Till och med Gray minns att han var positiv då han minns ett SMS han skickade i början. "Jag sa: "Jag överförde personligen 13 fall av barnmisshandel till snabbinsatsteamet, och jag mår riktigt bra." Men det höll inte. "Jag har aldrig hört från de här människorna. Jag vet inte om något har gjorts ännu. Du vet, det verkar som att allt händer i ett vakuum.
Kan erkännande göra skillnad och öka moralen? Kanske, men bara om de verkligen har en inverkan, ingriper Gray tillräckligt. "Ett barn i Afghanistan binds naken på sängen och misshandlas. Det gör det här värre eftersom det är sexuella övergrepp mot ett barn, men vad kan man göra?
"Jag följer bara policyn, personen längst upp tar bara ner den."