Hoe Facebook een groot deel van de wereld aan zijn lot overlaat

Wie Facebook buiten Noord-Amerika en Europa gebruikt, waant zich soms in het Wilde Westen. Uit interne documenten die een consortium van Europese publicaties, waaronder Knack, kon inkijken, blijkt dat het bedrijf in grote delen van de wereld machteloos staat tegenover haatberichten en bedreigingen.

Op het eerste gezicht lijkt het een onschuldig tafereel. Een verliefd koppel zit in typische hindoekledij in een park, terwijl ze samen een zak geroosterde nootjes eten. Op de achtergrond klinkt een romantisch deuntje, en een zachte stem die in het Hindi het lieflijke tafereel bezingt.

In een volgend shot zien we dezelfde man huilen, terwijl hij op de afdeling intensieve zorg van een ziekenhuis het bebloede en zwartgeblakerde lichaam van zijn geliefde gadeslaat. In de drie daaropvolgende minuten krijgen we te zien hoe het arme meisje verleid wordt door een jonge moslim, die haar dwingt om een hoofddoek te dragen, fysiek mishandelt en isoleert van haar familie. Uiteindelijk overgiet de jonge moslim het meisje met benzine en steekt hij haar in brand, terwijl zijn familie geamuseerd toekijkt. De scène is bijna net zo gruwelijk als de special effects .

Love Jihad is niet de zo- veelste Bollywoodproductie. Het in India breed gedeelde filmpje speelt in op de in hindoenationalistische kringen populaire samenzweringstheorie dat Indiase moslimmannen (hindoe)vrouwen listig verleiden om hen vervolgens tot de islam te bekeren. De samenzweringstheorie blijft niet beperkt tot de donkere krochten van het internet. Verschillende leiders van de hindoenationalistische Bharatiya Janata Party (BJP), de partij van premier Narendra Modi, omarmen het complot. In meerdere Indiase staten werden het voorbije jaar wetten aangenomen die bekering binnen het huwelijk verbieden. Als een man – in casu een moslim – ‘betrapt’ wordt op het gedwongen bekeren van zijn aanstaande riskeert hij een celstraf tot tien jaar.

Binnen Facebook wordt de Love Jihad-problematiek gebruikt als een schoolvoorbeeld van zogenoemde adversarial harmful networks. Dat zijn netwerken die op een gecoördineerde manier haatdragende en opruiende boodschappen verspreiden. In India, waar valse geruchten via apps als WhatsApp geregeld tot lynchpartijen leiden, is de problematiek een zaak van leven of dood. Uit een intern rapport, dat verslag doet over hoe de Love Jihad-samenzwering ook via Facebook wordt verspreid, blijkt dat Indiase gebruikers voortdurend blootgesteld worden aan hoaxes die op grote schaal verspreid worden door valse accounts. Het rapport legt uit hoe cybercellen in tientallen Facebookgroepen tegelijk dezelfde boodschap publiceren, waardoor Indiërs in bepaalde regio’s continu overspoeld worden met dezelfde geweld- dadige beelden, waardoor ze ‘uiteindelijk het ecosysteem domineren’.

Het rapport linkt de groepen aan de Rashtriya Swayamsevak Sangh (letterlijk: Nationale Vrijwilligersorganisatie, RSS). Dat is de bijzonder invloedrijke beweging met paramilitaire takken die de hindutva aanhangt, de overtuiging dat India het heilige land van de hindoes is, waar moslims en andere religieuze minderheden geen plaats hebben. Zoals veel leiders van de BJP werd ook Narendra Modi gevormd in de RSS.

De beweging speelt ook online een kwalijke rol. ‘RSS-gebruikers, -groepen en -pagina’s promoten angstzaaiende antimoslimnarratieven gericht op prohindoegebruikers met gewelddadige bedoelingen.’ De groepen bevatten ‘oproepen om de moslimbevolking van India het land uit te zetten’ en ‘valse beweringen dat de Koran moslims oproept om hun vrouwelijke familieleden te verkrachten’. Hoewel zulke posts ingaan tegen de Facebookregels, zijn verschillende gebruikers en pagina’s die het rapport aanhaalt nog altijd actief op Facebook. Ook het beruchte Love Jihad-filmpje is met een eenvoudige zoekopdracht nog steeds terug te vinden.

Algoritmewijziging

De Love Jihad-casus is maar een van de vele opmerkelijke passages die opduiken in de #FacebookFiles. Een consortium van Europese publicaties, waaronder Knack, kreeg toegang tot de interne documenten via een stafmedewerker van het Amerikaanse Congres. Ze werden aan het Congres bezorgd door voormalig Facebookmedewerker en klokkenluider Frances Haugen, die op 5 oktober een getuigenis aflegde voor de Amerikaanse Senaat, en geven een ongeziene inkijk in de machinekamer van Facebook.

De documenten tonen aan dat Facebook maar al te goed op de hoogte is van de manier waarop zijn applicaties (Facebook, Messenger, Instagram en WhatsApp) misbruikt worden. Verschillende interne rapporten en onderzoeken signaleren dat ze gebruikt worden voor mensenhandel, om fondsen te werven voor milities of om politieke tegenstanders te intimideren. Hoewel de Facebookmedewerkers in hun onderlinge uitwisselingen overlopen van de goede bedoelingen, spreekt uit de Facebook Files ook een zekere machteloosheid. Bovenal duiden de documenten op een leerling-tovenaar die zijn creatie niet meer onder controle heeft.

Zo lijkt Facebook zelf niet meer te begrijpen welke impact zijn algoritmes hebben. Om die dynamiek beter te begrijpen, nam het bedrijf begin februari 2019 de proef op de som. Een Indiase testgebruiker maakte een nieuwe account aan, en volgde daarna enkel pagina’s en groepen die hem door het algoritme voorgesteld werden. Na nauwelijks drie weken zag hij op zijn newsfeed ‘een bijna onophoudelijk spervuur van nationalistische boodschappen, desinformatie, geweld en bloedvergieten’.

Veel heeft te maken met een wijziging in het Facebookalgoritme uit 2018. Die zorgde ervoor dat vaak gedeelde filmpjes een zwaarder gewicht toebedeeld kregen, waardoor ze vaker in de nieuwsfeed van gebruikers verschijnen. Alleen blijkt de nadruk op reshareability een averechts effect te hebben. In een interne memo, die gedateerd is op 1 april 2019, staat te lezen dat verschillende Europese politieke partijen tegenover Facebook hun beklag doen over de bokkensprongen die het nieuwe algoritme maakt. Ze beklagen zich erover dat het nieuwe algoritme ‘het wezen van de politiek’ heeft veranderd. ‘Ze argumenteren dat de nadruk op reshareability systematisch provocatieve, kwaliteitsarme inhoud beloont. Partijen (…) hebben het gevoel dat ze zich aan die verandering hebben aangepast door veel meer negatieve boodschappen te produceren dan voordien.’ Het nieuwe algoritme zorgt ervoor dat partijen ‘steeds meer afhankelijk worden van opruiende berichten en directe aanvallen op hun tegenstanders (…) Veel partijen, zelfs degene die de neiging hebben om zich te bedienen van negatieve berichtgeving, maken zich zorgen over de langetermijneffecten op de democratie.’

Gevraagd naar een reactie laat Facebook weten dat het geen commentaar levert op specifieke onderzoeken. Een woordvoerder verwijst naar het statement van ceo Mark Zuckerberg op 6 oktober. ‘De bewering dat we opzettelijk inhoud promoten die mensen boos maakt, is totaal onlogisch. (…) Onze adverteerders zeggen ons voortdurend dat ze hun advertenties niet naast schadelijke of boze berichten willen zien. Ik ken geen enkel techbedrijf dat de bedoeling heeft om mensen boos of depressief te maken.’

Het probleem met Arabisch

In Europa voelen vooral politieke partijen zich door Facebook benadeeld, maar elders is het helemaal het Wilde Westen. Uit de interne documenten blijkt dat Facebook er in grote delen van de wereld niet in slaagt om zijn eigen regels te handhaven en haatdragende of opruiende boodschappen op te sporen. Vooral in kleinere taalgebieden buiten Europa en Noord-Amerika blijven haatboodschappen die aanzetten tot geweld vaak onaangeroerd. Hoewel Facebookapplicaties ongeveer over de hele wereld gebruikt worden – Iran en China zijn de voornaamste uitzonderingen – heeft het bedrijf lang niet overal moderators, en schiet ook de artificiële intelligentie vaak tekort. Net in economisch minder ontwikkelde landen, waar de rechtsstaat onvoldoende ontwikkeld is, lopen minderheden een fysiek risico als desinformatie of haatzaaiende uitspraken zich vrij kunnen verspreiden. Volgens klokkenluider Frances Haugen investeert Facebook onvoldoende in adequate beschermingssystemen voor niet-Engelstalige gebruikers. ‘De kwetsbaarste landen hebben de minst beveiligde versie van Facebook. Mensen zouden niet gestraft mogen worden omdat ze niet Engelstalig zijn.’

Zo heeft Facebook een enorm probleem in de Arabischtalige wereld. Nochtans is Arabisch een van de populairste talen op Facebook: eind 2020 werd het aantal Arabischtalige gebruikers op 220 miljoen geschat, de op twee na grootste taalgroep. Toch kampt Facebook met een acuut gebrek aan Arabischtalige moderators. Uit een intern rapport blijkt dat ze bijna uitsluitend uit Marokko en Syrië komen. Omdat Arabisch geen uniforme taal is maar een groep van onderling niet altijd verstaanbare taalfamilies, worden verschillende regio’s uit de Arabische wereld bijna niet opgevolgd. Volgens het rapport zijn er ‘vrijwel geen’ moderatoren die de Arabische varianten uit Libië, Jemen en de Golfregio voldoende begrijpen om snel te kunnen ingrijpen. Dat betekent dat er voor Jemen – dat sinds 2014 verscheurd wordt door een bloedige burgeroorlog – ook nu nog nauwelijks wordt ingegrepen. Het rapport merkt op dat ‘elk Arabisch land uitgezonderd de Westelijke Sahara’ beschouwd wordt als ‘een risicoland dat te maken heeft met ernstige uitdagingen zoals terrorisme en vrouwenhandel’. En ook: ‘Gezien het hoge aantal Arabische gebruikers en de potentiële ernst van reëel geweld in vrijwel elk Arabisch land, is het van het grootste belang meer middelen uit te trekken voor de verbetering van onze systemen in het Arabisch.’

Het gebrek aan Arabischtalige medewerkers zorgt er bovendien voor dat ook de artificiële intelligentie in die talen trager evolueert. Zo stelde Facebook vast dat het aantal opgemerkte haatboodschappen tijdens de ramadans van 2019 en 2020 spectaculair steeg. Op een intern discussieforum concluderen Facebookmedewerkers dat de verklaring vermoedelijk ligt in het hogere aantal Korancitaten dat tijdens de heilige maand gepost wordt. Die citaten bevatten vaak woorden als ‘martelaar’ of ‘strijd’, waardoor het algoritme de religieuze boodschappen als mogelijk jihadistisch interpreteerde. Volgens een intern rapport wordt slechts 40 procent van de Arabischtalige haatspraak op Facebook proactief gedetecteerd, op Instagram is het slechts 6 procent.

In een reactie stelt Facebook dat het de voorbije jaren geïnvesteerd heeft in extra Arabischtalige medewerkers. ‘We blijven werken om onze capaciteiten in het Arabisch te verbeteren, maar we erkennen dat we nog werk voor de boeg hebben.’ Facebook wil niet vrijgeven over hoeveel Arabischtalige moderators het vandaag beschikt.

Ethiopië

Om zijn AI-systemen op te waarderen, heeft Facebook trainingsdata nodig, zodat de algoritmes via machinelearning kunnen ‘leren’ hoe ze opruiende of haatdragende boodschappen kunnen herkennen. Via text classifiers kunnen teksten aangeduid worden voor controle, naar menselijke reviewers doorgestuurd worden, en soms zelfs onmiddellijk offline gehaald. Alleen lijken de classifiers voor talen buiten Europa en Noord-Amerika zelden goed te werken. Uit de interne documenten blijkt dat ze voor het Hindi (400 miljoen moedertaalsprekers) of het Bengaals (230 miljoen moedertaalsprekers) nauwelijks functioneren, waardoor haat- dragende boodschappen vaak bijzonder lang online blijven. Bovendien hebben heel wat Indiërs de neiging om voortdurend te schakelen tussen de moedertaal en het Engels, wat voor algoritmes bijzonder verwarrend kan zijn.

Ethiopië

Ook in Ethiopië kampt Facebook met grote problemen. Zo blijkt uit interne documenten dat de Fano-militie, een Amhara-nationalistische paramilitaire groepering die actief is in de burgeroorlog in Tigray, haar kanalen gebruikt om ‘gewapend conflict te promoten’ en ’te rekruteren en fondsen te werven voor de milities’. Fano lijkt momenteel niet langer openlijk actief op Facebook. Hetzelfde document vermeldt het Oromia Media Network (OMN), een online- zender die zich volgens de interne nota’s bezondigt aan ‘aanzetten tot geweld en haatspraak in de context van een burgeroorlog’ en ‘expliciete oproepen tot geweld tegen overheidsofficials en andere etnische groepen’. Het document geeft de raad om het netwerk offline te halen. Alleen blijkt OMN nog steeds op Facebook actief. Volgens een lokale ngo-medewerker, die uit veiligheidsoverwegingen anoniem wil blijven, is OMN lang niet het enige netwerk dat voortdurend opruiende taal verspreidt. ‘Hoewel Facebook wel degelijk modereert, duurt het ook nu nog vaak lang voor haatspraak offline wordt gehaald. In een land als Ethiopië, waar haat- berichten aanleiding kunnen geven tot geweld, creëert dat een enorm gevaarlijke situatie.’

Nochtans kreeg Facebook ook eerder al waarschuwingen over hoe zijn applicaties bij conflicten worden ingezet. In 2018 documenteerden mensenrechtenorganisaties hoe het Myanmarese leger dankzij massale anti- Rohingyapropaganda het pad effende voor een genocide. Nadat onder andere The New York Times erover had bericht, gaf Facebook toe dat het traag had gereageerd. Toch lijkt Facebook ook vandaag nog lang niet overal ter wereld voldoende gewapend. Uit een intern rapport blijkt dat de Facebookalgoritmes in Afghanistan tot 2020 slechts 0,2 procent van alle haatspraakberichten automatisch opspoorden. Bovendien kunnen Afghaanse gebruikers haatberichten niet in de eigen taal aangeven, waardoor de drempel om haatspraak te verwijderen wordt verhoogd. Frances Haugen wijt die voortdurende problemen aan een gebrek aan investeringen. ‘Ik was altijd gechoqueerd hoe dun bezet zelfs de meest kritieke functies waren. Facebook is een bedrijf dat 1000 miljard dollar waard is. Het maakt 40 miljard winst per jaar. Dat is enorm veel. Er zijn landen met een bruto nationaal product van 40 miljard.’

In een reactie laat Facebook weten dat het zich de voorbije twee jaar ‘actief geconcentreerd heeft op en geïnvesteerd heeft in Ethiopië’, en dat het ondertussen functioneert in de vier voornaamste talen (Amhaars, Oromo, Somalisch en Tigrees). ‘We hebben gewerkt aan onze proactieve detectie, zodat we meer schadelijke inhoud kunnen verwijderen.’ Ook in Afghanistan zegt Facebook ondertussen vooruitgang te hebben geboekt, en in de twee voornaamste talen (Dari en Pasjtoe) beschikbaar te zijn.

Politieke druk

Bovendien lijken de logica en de balans bij het maken van beslissingen soms zoek. Zo identificeerde Facebook in Ethiopië een Facebookgroep met ‘controversiële politieke inhoud’ die gerund wordt door een werknemer van de Ethiopische inlichtingendienst. Toch wordt het advies gegeven om ‘geen actie’ te ondernemen, met de vermelding dat er van de Ethiopische inlichtingendienst ‘geen duidelijke mensenrechtenschendingen’ bekend zijn. Een opmerkelijke bewering voor de inlichtingendienst van een regime waarvan de mensenrechtenschendingen breed gedocumenteerd zijn.

Tegen verschillende groeperingen die in interne documenten aangemerkt zijn als ‘adversarial harmful networks’ wordt geen duidelijke actie ondernomen. Hoewel interne documenten aangeven dat de hindoenationalistische RSS voortdurend opruiende en misleidende berichten post, worden berichten van die beweging nog steeds niet aangemerkt. ‘Gezien de politieke gevoeligheden hebben we deze groepering (de RSS, nvdr) nog niet genomineerd voor een aanmerking.’ In een ander document wordt het advies gegeven om Bajrang Dal, een andere hindoenationalistische organisatie gelinkt aan de BJP, offline te halen. Hoewel Bajrang Dal in het interne document een ‘extremistische, haatdragende groepering’ ge- noemd wordt, die ‘aanzet tot geweld’, is de groepering nog altijd actief op Facebook.

Dat een intern document van de integriteitsafdeling van Facebook ‘politieke gevoeligheden’ vermeldt, is opmerkelijk. Het is een afdeling waar vooral software-ingenieurs en dataspecialisten actief zijn. Zij hoeven doorgaans niet na te denken over politieke verzoeken waarmee de hogere echelons van het Facebookmanagement moeten omgaan. Volgens Haugen duidt die overweging op een ongezonde verstrengeling tussen beide niveaus. ‘Bij Facebook staat er geen muur tussen de commerciële en de integriteitsafdelingen. Je rapporteert integriteitsproblemen aan dezelfde manager die commerciële kwesties behandelt. Dat creëert druk op werknemers om het rustig aan te doen met integriteitskwesties.’

De conclusie dat Facebook onvoldoende doet om zijn gebruikers wereldwijd te beschermen, wijst het bedrijf nadrukkelijk van de hand. Facebook laat weten dat het sinds 2016 13 miljard dollar heeft geïnvesteerd en dat het momenteel 40.000 mensen in dienst heeft die aan de veiligheid van het platform werken. ‘Alleen al in 2020 hebben we meer dan 5 miljard valse accounts verwijderd.’ Facebook wijst ook op zijn third party fact-checking-programma, waarbij berichten in meer dan zestig talen worden gecontroleerd. ‘Ons trackrecord toont aan dat we misbruik even hard aanpakken buiten als binnen de Verenigde Staten.’