Wo die Geschmackspolizei putzt

Welche Berufe sind die gefährlichsten in der Informationstechnologiebranche, fragte im Jahr 2010 ganz unschuldig das Magazin »PC World«. In der Rubrik landeten dabei neben Unterwasserkabelreparateuren, Elektromüll-Ausschlachtern in Afrika und Asien sowie Wolfram-Abbauern in den Bürgerkriegsgebieten des Kongo auch sogenannte Content-Moderatoren. Das sind die Müllmänner und -frauen des Internets. Sie sitzen in Callcentern, aber auch zu Hause vor ihren Monitoren und filtern unter den Bildern, Texten und Videos, die täglich hochgeladen werden, die verstörendsten Sachen heraus, um sie so dem unendlichen Kopier- und Weiterleitungszyklus zu entziehen.

»Das können Bilder von Enthauptungen sein, vom sexuellen Missbrauch eines 18 Monate alten Kinds, von Zerstückelungen menschlicher Körper oder einem Menschen, der bei lebendigem Leibe verbrennt. Man blickt da wirklich tief in das Böse im Menschen«, erzählt Hemanshu Nigam. Nigam gehört zu den Veteranen der Branche. Der einstige Staatsanwalt, Schwerpunktdelikt sexuelle Ausbeutung von Kindern, leitete vier Jahre lang den Bereich Content Moderation bei MySpace, als dieses soziale Netzwerk noch Marktführer vor Facebook war. Er hat seit sechs Jahren eine eigene Firma mit etwa 350 Angestellten, die den Filterservice für Großkunden zur Verfügung stellt, und war 2010 auch Mitglied einer Arbeitsgruppe des US-Senats zum Thema Onlinesicherheit.

Nigam geht davon aus, dass derzeit weltweit 250 000 bis 350 000 Menschen im Bereich Content Moderation tätig sind. Die Tendenz ist steigend, denn weltweit werden immer mehr Inhalte hochgeladen. Auch die Sorge, vom Internet mit verstörenden und kriminellen Inhalten behelligt zu werden, wächst. Die einen mögen im Zuge dieser Sorge vor allem die Ausweitung einer prüden und cleanen Mittelschichtsethik auf die Netzwerke befürchten. Facebooks sogenannte Community Standards verbieten etwa Bilder nackter Brustwarzen von Frauen oder von Blut. Eine New Yorker Bloggerin, die Bilder vom Projekt »Venus Webcam« der Medienkünstlerin Addie Wagenknecht hochgeladen hatte, wurde 2013 24 Stunden lang von Facebook ausgesperrt. Der Grund hierfür war der folgende: Wagenknecht hatte leicht oder gar nicht bekleidete männliche wie weibliche Performer gebeten, die Positionen von Aktmodellen Botticellis und Leonardos einzunehmen. Weil die Bloggerin diese Bilder auf Facebook verlinkte, verstieß sie gegen das Nacktheitsverbot. Wagenknecht erzählte als Rednerin auf der Berliner Webkonferenz re:publica Anfang Mai auch, dass der Facebook-Fotodienst Instagram bei Fotos von Frauen im Bikini die Abbildungen schlanker Frauen gewöhnlich zuließe, bei korpulenteren Körpern aber den Upload mitunter verhindere. Content Moderation als Geschmackspolizei - abwegig erscheint dies im Facebook-Imperium nicht. Und es ist ein neuerliches Indiz dafür, wie sehr die Internetplattformen und Social-Media-Dienstleister das Bild prägen, das ihre User sich von der Welt machen.

Problematisch dabei ist nicht nur, dass sie es prägen. »The Medium is the message«, befand schon der Guru der Medienwissenschaft, Marshall McLuhan. Wenn Nutzern von Informationsplattformen nicht bewusst wird, nach welchen Kriterien Inhalte gefiltert, gelöscht und propagiert werden, können sie den Faktengehalt eben schwer bemessen.

Ein Blick auf die Lebensmittelbranche unterstreicht die Problematik. Als 1820 der Chemiker Friedrich Accum in London seine Streitschrift »Von der Verfälschung der Nahrungsmittel und von den Küchengiften« veröffentlichte und darin mit Namen und Adresse die Geschäftsinhaber nannte, die ihre Produkte mit zum Teil giftigen Farbstoffen, Haltbarkeitszusätzen und Geschmacksverstärkern versehen hatten, löste das Freude bei den Bürgern und Zorn bei den Geschäftsleuten aus; Accum musste gar aus London verschwinden. Heutzutage ist die Kennzeichnungspflicht für Lebensmittel auch im Land der Social-Media-Konzerne Pflicht. Eine Offenlegung der Filtermechanismen wäre für jeden Internetmediennutzer so wichtig wie für den Esser die Angabe über die Substanzen, die er seinem Körper zuführt. Die Internetbranche ist da aber noch längst nicht so weit wie die Lebensmittelbranche.

Das wird auch bei der neuen Saubermanntruppe von Facebook in Berlin deutlich. Seit Anfang des Jahres durchkämmen die etwa 300 Mitarbeiter der Bertelsmann-Tochterfirma Arvato in Spandau Facebook nach verbotenen oder vom Konzern unerwünschten Inhalten. Deutsche Muttersprachler wurden eingestellt, aber auch türkisch und arabisch sprechende Menschen. Nach welchen Suchkriterien sie bestimmte Inhalte herausfiltern, wollte auf Anfrage von »nd« aber weder die Pressestelle von Arvato noch ein Facebooksprecher bekannt geben. Einziger Hinweis: die - mittlerweile immerhin detaillierteren - Community Standards.

Hintergrund des Einstiegs von Bertelsmann in den wachsenden Geschäftszweig Content Moderation ist die von Justizminister Heiko Maas initiierte »Taskforce Hatespeech«. In Zusammenarbeit mit Facebook, Google, Twitter und anderen Social- Media-Plattformen soll im Internet vor allem die Verbreitung von Hasspropaganda gegen Geflüchtete verhindert werden. Das deutschsprachige Facebook ist davon, so wissen Kenner, stärker befallen als etwa das französische. Deshalb wohl reicht der Facebook-Ableger in Dublin, der mit seinen ca. 300 Mitarbeitern bisher vor allem den europäischen Teil des Netzwerks im Auge behielt, nicht mehr aus.

Bei Arvato in Spandau landen aber nicht nur Hetzreden, sondern alles, was von Facebook-Usern als problematisch gemeldet wurde, also auch Enthauptungsvideos und Kinderpornografie. Schlaue Suchalgorithmen übernehmen diese Arbeit übrigens nicht; sie gelten als zu ungenau. Deshalb muss das menschliche Auge ran. Wie die Psyche der prüfenden Betrachter jedoch mit dem digitalen Müll klarkommen soll, verrät Arvato nicht. Unter dem Stichwort »Gesundheitsmanagement« werden bei dem Bertelsmann-Tochterunternehmen nur Gesundheitstage und »Mitmachaktionen« wie »Fit to Work«, Seh-, Hör- und Lungenfunktionstests, Schutzimpfungen und der »Check up 45plus« angeboten. Das ist, befragt man Experten, eindeutig zu wenig.

»Für jeden Menschen gilt: Was man einmal gesehen hat, das kann man nicht rückgängig machen«, sagt Jane Stevenson, eine frühere Mitarbeiterin britischer Polizeieinheiten bei Ermittlungen gegen Kinderpornografie, die jetzt eine eigene Firma hat (Workplace Wellbeing) und Traumabewältigung anbietet. Sie diagnostizierte Symptome von posttraumatischer Belastungsstörung - worunter Kriegsveteranen oft leiden - auch bei Menschen, die als Content-Moderatoren gearbeitet haben. »Arbeitgeber müssen die Gefahrenpotenziale ernst nehmen und sicherstellen, dass neu eingestellte Personen wissen, worauf sie bei ihrer Arbeit stoßen können«, fordert Stevenson. »Sie müssen Gesundheitsprogramme anbieten und für ein Monitoring sorgen.«

Ähnlich sieht das Branchenkenner Nigam. »Man muss die Mitarbeiter vorbereiten, man muss sie betreuen. Und man muss ihnen die Chance geben, nach einer Woche auszusteigen und eine andere Arbeit zu machen, wenn die Belastung für sie zu hoch ist«, sagt er.

Viele Unternehmen sind aber noch nicht so weit. Nigam sieht weltweit großen Nachholbedarf und ein sich erst langsam entwickelndes Bewusstsein für dieses Problem. Traumaforscherin Stevenson hat beobachtet, dass einzelne Personen, die als Content-Moderatoren für Social-Media-Unternehmen arbeiteten, aus Angst davor, ihren Arbeitsplatz zu verlieren, lieber auf psychologische Hilfe verzichteten. Das spricht nicht für eine offene, problemorientierte Unternehmenskultur.

Besonders schlimm muss die Situation auf den Philippinen sein. Die dortigen Sonderwirtschaftszonen, genannt BPO (Business Process Outsourcing), haben seit mehr als einer Dekade Unternehmen aus aller Welt angezogen. Manila ist zur Welthauptstadt der Callcenter geworden, weil Filipinos und Filipinas gutes Englisch sprechen und als arbeitsam und zuverlässig gelten. Das geringe Lohnniveau spielt ebenfalls eine Rolle. Bei einer Recherche vor Ort traf der Berliner Theatermacher Moritz Riesewieck Content-Moderatoren, die Schicht für Schicht jeweils 3000 Bilder durchklickten und bei der Betrachtung der Szenen von sexueller Gewalt, Mord und Totschlag eben nicht betreut wurden. Einzelne klagten über psychologische Probleme.

Wie Riesewieck in einem Vortrag, ebenfalls auf der re:publica, berichtete, stellte sich als besonders unrühmlicher Arbeitgeber die in den USA angemeldete Firma Task-Us heraus. Sie bedient Kunden wie das Fahrdienstleistungsunternehmen Uber und die nur über einen Facebook-Account zugängliche Partnervermittlungsplattform Tinder. Task-Us reagierte auf Nachfrage von »nd« nicht. Die Firma musste vor zwei Jahren wegen Softwarepiraterie und des Vertriebs von illegalen Sexdrogen sogar eine Razzia der philippinischen Abteilung gegen Cyberkriminalität über sich ergehen lassen. Nicht jeder, der die sozialen Netzwerke putzt, ist selbst porentief rein. Und die, die putzen, müssen Auskunft darüber geben, welche Anteile von Informationen und Inhalten sie aus welchen Gründen tilgen. Drecksbeseitiger verdienen Schutz; auf der anderen Seite dürfen sie nicht zu Zensurhandlangern werden.

#ndbleibt – Aktiv werden und Aktionspaket bestellen

Egal ob Kneipen, Cafés, Festivals oder andere Versammlungsorte – wir wollen sichtbarer werden und alle erreichen, denen unabhängiger Journalismus mit Haltung wichtig ist. Wir haben ein Aktionspaket mit Stickern, Flyern, Plakaten und Buttons zusammengestellt, mit dem du losziehen kannst um selbst für deine Zeitung aktiv zu werden und sie zu unterstützen.
Zum Aktionspaket