Infos zu dem Vorhaben „Chatkontrolle“ der EU-Kommission im Zuge der neuen Gesetzgebung zum Kinderschutz im Internet

Worum geht es?

Die Seite Netzpolitik.org fasst es gut zusammen¹:

Die EU-Kommission will Handys in Alarmanlagen für Darstellungen sexueller Gewalt verwandeln. Das gilt auch für Laptops und andere Geräte. Geplant ist ein System der Kontrolle und Durchsuchung von Kommunikationsinhalten. Das ist mit „Chatkontrolle“ gemeint. [...] Mit der geplanten Regulierung sollen Onlinedienste gezwungen werden können, die Kommunikation ihrer Nutzer:innen zu scannen, wenn sie eine entsprechende Anordnung bekommen haben. Finden sie verdächtige Aufnahmen oder Texte, müssen sie die Inhalte an das EU-Zentrum weiterleiten.

Für das eigene Handy bedeutet das: Kommunikation wäre in Zukunft nicht mehr vertraulich. Das kann auch verschlüsselte Messenger betreffen. Die EU-Kommission will Anbieter nicht nur dazu zwingen können, bereits bekannte Bilder oder Videos zu erkennen. Suchen sollen sie auch nach neuen, verdächtigen Aufnahmen und nach „Cybergrooming“ (sexualisierte Belästigung per Chat). So nennt man es, wenn Erwachsene sexuellen Kontakt zu Minderjährigen anbahnen. In der Praxis heißt das, dass Anbieter unsere Kommunikation auswerten müssten.

Zudem sollen App Stores und Messenger zur Altersverifizierung ihrer Nutzer verpflichtet werden. Das wäre die Einführung einer Identifizierungspflicht und würde die anonyme Nutzung von Messengern oder Handys de facto unmöglich machen.

Wer sich für den Gesetzesentwurf im Detail interessiert, wird in folgenden Quellen auf den Internetauftritten der Europäischen Union fündig: [²] [³] [⁴] [⁵]

Wo gibt es weiterführende Information?

Das Bündnis Chatkontrolle STOPPEN! bietet umfangreiche Informationen zum Thema Chatkontrolle und setzt sich aktiv gegen den möglichen Beschluss der EU-Kommission ein.

Stop Scanning Me ist die internationale, englischsprachige Kampagne gegen die Chatkontrolle.

Was bedeutet das Vorhaben für Kund*innen von Collocall?

Da das Gesetzesvorhaben auf EU-Ebene noch nicht angenommen ist und keine nationalen Umsetzungsvorschriften bestehen, ist noch nicht absehbar welche Auswirkungen es konkret haben kann. Es wäre denkbar, dass auch die Chat-Kommunikation in Videokonferenzen, der offene Stream-Chat als potentieller Schauplatz von Grooming interpretiert wird. Ebenso könnten Moderator*innen Präsentationen mit Missbrauchsdarstellungen hochladen. Wir finden diese Szenarien zwar abwegig, halten aber eine entsprechende Gesetzesauslegung durchaus für möglich.

Wir wollen verhindern, dass die privaten oder organisationsinternen Nachrichten, die über unsere Services geteilt werden, jemals unsere Server verlassen und an dritte weitergegeben werden. Dafür machen wir uns gerade auch für unsere Kund*innen stark. Wir wollen bereits jetzt - gerne in einem breiten Bündnis - Einfluss auf das Gesetzesvorhaben nehmen. Mit einer Reihe offener Briefe wenden wir uns an Politiker*innen, Datenschutzbeauftragte und Interessenverbände wie die Industrie- und Handelskammern.

Unabhängig von Ausgang der parlamentarischen Prozesse werden wir eine mögliche geforderte Implementierung bei Collocall juristisch prüfen lassen. Wir versprechen unseren Kund*innen absolute Transparenz im Datenschutz und insbesondere beim Thema Chatkontrolle.

Worin besteht die Problematik des Vorhabens?

Verdachtsunabhängige Kontrolle aller Kommunikation

Galt bisher die private Kommunikation als ein geschützter Bereich ^{6 7}, in den nur bei einem begründeten Verdacht und mit richterlicher Kontrolle eingegriffen werden durfte, so sollen jetzt private Nachrichten vor Ihrer Verschlüsselung von Algorithmen gefiltert und ggf. an die Behörden übergeben werden. Hierin sehen wir einen schweren Eingriff in Grundrechte. Wie genau dieser "Justizroboter" auf unseren Geräten funktionieren könnte ist dabei noch völlig unklar und ggf. von der Implementierung des jeweiligen IT-Dienstleisters abhängig. Klar hingegen ist, dass er verpflichtend zum Einsatz kommen soll.

Gleichzeitig soll die Möglichkeit anonymer oder pseudonymer Kommunikation und Nutzung von IT-Diensten untersagt werden, denn für die Grooming-Algorithmen ist ein Altersnachweis notwendig. Zwar existiert kein Grundrecht auf Anonymität, aber der weitere Wegfall der Anonymität im Internet kann unangenehme Konsequenzen für alle Nutzer*innen nach sich ziehen. Nicht nur wird die Nutzung durch die Altersnachweise aufwendiger. Auch wird die kommerzielle Datenerfassung und Analyse realer Personen weiter vereinfacht und potentiell unseriösen Internetanbietern müssen sensible Daten übertragen werden.

Für alle, die mit "Computerthemen" wenig vertraut sind, lässt sich die Chatkontrolle ohne weiteres in die analoge Welt übertragen: Will man einen Brief mit Urlaubsbildern an eine*n Freund*in schicken, so muss der Brief zunächst bei einer Behörde zur Prüfung vorgelegt werden und wird dort versiegelt. Erst dann darf er versendet werden. Bei dieser Behörde wird jener Brief allerdings nicht von einem Menschen, sondern zunächst einer Maschine untersucht. Das klingt sehr befremdlich. Waren wir doch bislang gewohnt Briefe beliebig mit Anschrift und Absender versehen in eine Briefkasten zu werfen.

Unwirksamkeit

Als IT-Expert*innen verfolgen wir die Entwicklungen im Bereich von Machine-Learning und künstlicher Intelligenz mit großem Interesse. Wir erleben dabei erstaunliche neue Möglichkeiten, aber auch und vor allem die Begrenztheit solcher Systeme. Nicht zuletzt lebt in ihnen ein Bias ihrer Entwickler*innen fort⁸.

Es erscheint uns unmöglich mit aktuellen Machine-Learning-Verfahren Darstellungen von Kindesmissbrauch überhaupt erkennen zu können. Über bestimmte anatomische Merkmale kann mit hoher Wahrscheinlichkeit Nacktheit erkannt werden, eventuell eine "typisch sexuelle Haltung". Weiterhin ist eventuell über Gesichter oder andere anatomische Merkmale eine ungefähre Alterseinordnung möglich. Diese Einordnung vermag aber wenig über das tatsächliche Alter der Fotomotive auszusagen, ebenso wenig wie über die Freiwilligkeit ihrer Entstehung. Nicht zuletzt schicken sich Jugendliche selbst Nacktfotos zu. Eltern teilen Fotos vom Nachmittag am See. Wahrscheinlich würde ein solcher Algorithmus sogar bei gezeichneten Darstellungen wie Mangas einen Fund liefern.

Noch unklarer ist uns die Umsetzung einer Filterung gegen Grooming. Jedoch liefert sie z.B. der EU-Kommission das Argument zukünftig auch Textinhalte filtern zu dürfen. Zunächst müsste ein Algorithmus nicht nur verstehen, dass eine erwachsene mit einer minderjährigen Person kommuniziert - und wie soll sichergestellt sein, dass kein*e Erwachsene*r mit einem Kinderaccount kommuniziert oder umgekehrt ein Kind mit Erwachsenenaccount (um z.B. Altersbeschränkungen zu umgehen). Sondern der Algorithmus müsste weiterhin semantisch aus einer eventuell langfristigen Unterhaltung Grooming-Absichten herauslesen können. Eine Aufgabe, bei der wir uns nicht einmal sicher sind, ob das einer*m menschlichen Leser*in ohne einen Kontext gelingen würde. Immerhin geht es hier nicht um die Filterung nach typischem Sexualvokabular, sondern um hochgradig kontextabhängige verbale Kommunikation.

Zuverlässiger dagegen wäre ein Filtern nach bekannten Signaturen, ähnlich wie bei Computerviren. Der versendete Inhalt würde mit bekannten Missbrauchsdarstellungen verglichen werden um deren Weitergabe zu verhindern. Dieses Vorgehen beschränkt sich allerdings auf polizeilich bekannten Content.

Die Auswirkung all dieser Schritte gleicht sich letztendlich: Während alle legalen Nutzungsszenarien weiter auftreten und ggf. fälschlich in den Fokus von Ermittlungen geraten, wird tatsächliche Kinderpornographie nicht mehr über die betroffenen Medien ausgetauscht werden. Es ist auch zu vermuten, dass sie es auch aktuell kaum wird, da andere klandestine Verbreitungswege über Darknet und verschlüsselte Archive, etc. für die Täter*innen wesentlich mehr Sicherheit bieten. Laut dem Deutschen Kinderschutzbund wird der Großteil des kinderpornographischen Materials über Plattformen und Foren geteilt⁹.

Verschwendung von Ressourcen

Der Gesetzesentwurf ist mit erheblichem technischen und personellem Aufwand bei staatlichen Stellen und IT-Unternehmen verbunden. Die Infrastruktur für das Vorhaben muss erstellt und die Filtertechnologie auf allen erdenklichen Endgeräten ausgerollt und aktuell gehalten werden. Wie zuvor beschrieben wird das Erfassungsverfahren zu einer Content-Flut führen, die von Menschen gesichtet und analysiert werden muss. Anstatt dass Expert*innen für Missbrauch sich gezielt auf die Suche nach organisiertem Kindesmissbrauch begeben können, werden sie von einer Bilderflut ertränkt, die voraussichtlich maximal zur Identifizierung einzelner Konsumenten von Kinderpornographie führen wird.

Die Ressourcen fehlen dann an Stellen, die tatsächlich grundlegende Abhilfe in der Problematik schaffen könnten. Hier fallen uns Aufklärungsprogramme für Kinder und Eltern ein, eine bessere Unterstützung allein erziehender Elternteile und eine Verbesserung der auch außerschulischen Angebote für Kinder und Jugendliche. Darüber hinaus könnten Hilfsangebote für Menschen mit pädophilen Neigungen geschaffen werden, damit diese gar nicht erst missbräuchlich tätig werden.

Gefahren für bestimmte Gruppen

Die vorgeschlagene Chatkontrolle gefährdet bestimmte Personengruppen durch die Offenlegung privater Inhalte und eine falsche Kriminalisierung in besonderem Maße.

Erwachsene, die z.B. berufsbedingt in hohem Maße mit Minderjährigen kommunizieren könnten leicht in den Verdacht von Grooming geraten. Ihre Kommunikation würde offengelegt und mitgelesen.

Minderjährige, die untereinander Nacktheit und sexuelle Darstellungen teilen, müssen - anstatt dass diese Inhalte besonders geschützt sind - damit rechnen, dass diese sensiblen Inhalte an staatliche Stellen und private Dienstleister übertragen und von Dritten gesichtet werden. Dies alleine kann als problematisch angesehen werden, selbst wenn keine fehlgeleiteten Ermittlungen wegen Kinderpornographie folgen.

Zufluss und Abfluss von Daten

Die Erfassung und Filterung aller Mitteilungen auf den Endgeräten vor ihrer Verschlüsselung ist mit großem Aufwand und einigen Fragestellungen verknüpft.

Die Filteralgorithmen könnten auf jedes Gerät ausgerollt werden, entweder als zentrale Betriebssystem-Komponente oder mehrfach als Teil der jeweiligen Kommunikationsapplikation. Technisch wäre dies nicht leicht zu realisieren. Die Algorithmen wären in ihrer Leistungsfähigkeit auf die jeweilige Hardware beschränkt und müssten für die Vielzahl an Gerätetypen bereitgestellt und aktuell gehalten werden. Weiterhin müssten Maßnahmen ergriffen werden, dass die Filteralgorithmen nicht durch Patches an den Softwarekomponenten leicht umgangen werden können. Dies ließe erwarten, dass eine individuelle Kontrolle über das eigene Gerät, Kommunikation über Open-Source-Software und eine praktische Nutzung von Geräten ohne Einwilligung in die Verträge mit IT-Großkonzernen auch rechtlich immer schwerer möglich wird.

Alternativ müssten sämtliche persönliche Kommunikationsdaten aus den Endgeräten der Nutzer*innen erhoben und an zentrale Rechenzentren übertragen werden, die dann vermutlich als private Services großer Cloud-Provider betrieben würden. Kleinere Anbieter können schließlich die geforderten Filtersysteme nicht selbst bereitstellen. Sicherlich würde eine besondere Sicherheitszertifizierung dieser Rechenzentren vorgeschrieben. Allerdings wissen alle, die in einem Unternehmen bereits mit entsprechenden Zertifizierungen betraut waren, dass Papier geduldig ist und die betriebliche Praxis oft fern der dokumentierten Prozesse liegt. Sicher ist in jedem Fall, dass alle Beteiligten die Hoheit über ihre persönlichen Daten abtreten und lediglich auf Anbieter und Institutionen Vertrauen können - das Gegenteil von Ende-zu-Ende Verschlüsselung. Aber gerade dieses Vertrauen wurde in den vergangenen Jahren oft genug erschüttert. Die Daten sind potentiell gefährdet für kommerzielle Zwecke ausgewertet, nach weiteren Kriterien gefiltert oder durch Geheimdienste oder Kriminelle gehackt zu werden. In jedem Fall ist der Zugriff auf solch eine Datenzentrale von sehr hohem Interesse für diverse Akteure.

Selbst wenn bis zu diesem Punkt die Daten rein maschinell verarbeitet werden und keine unberechtigten Datenleaks entstehen, müssen die Positivbefunde einer manuellen Sichtung und Bearbeitung unterzogen werden. Wie oben dargelegt wird es zu einer großen Datenflut kommen. Dazu wird eine Behörde geschaffen werden müssen, deren Haupttätigkeit darin besteht potentiell kinderpornographisches Material zu sichten und mögliche private Grooming-Chatverläufe zu lesen. Man mag sich fragen wer genau sich zu solch einer Tätigkeit berufen fühlt und wie die EU ein Assessment an dieser Stelle gestalten will. Pädophile Neigungen sind sicherlich in der Gesellschaft verbreitet und selten erkannt. Dass berufliche Auswahlverfahren versagen, hat auch die Polizei in Deutschland unter Beweis gestellt. Ihr gelang es in Fällen nicht etwa Rechtsextremist*innen aus ihren Reihen fern zu halten¹⁰, auch kinderpornographisches Material wurde wohl geteilt¹¹.

Wenn aber letztendlich gerade erst durch die Maßnahmen der Chatkontrolle Aufnahmen von Minderjährigen als pornographisches Material an die Öffentlichkeit gerieten, wäre das im Ergebnis fatal und kaum wieder gut zu machen. Hätte sich doch die EU dadurch selbst zum Komplizen im Kindesmissbrauch gemacht.

Gefahren für Sicherheit und Datenschutz

Die Bereitstellung einer Schnittstelle zur Datenweitergabe an Dritte unter Umgehung der Ende-zu-Ende-Verschlüsselung stellt in jedem Fall eine Verminderung der Datensicherheit und des Datenschutzes dar. Die Spezifikation dieser Schnittstelle ist aktuell noch nicht bekannt. Besonders brisant wäre es, wenn hier ein Fernzugriff auf das Endgerät zur Beweissicherung des Nachrichtenkontextes angedacht würde oder auch, wenn in einer Cloud-Komponente des Chatkontrollfilters eine längerfristige Zwischenspeicherung der Nachrichten stattfindet.

Im Falle von Client-Side-Scanning (CSS) werden die Dateien und Nachrichten auf dem Gerät selbst gescannt. CSS ermögliche zwar noch eine Ende-zu-Ende-Verschlüsselung, da die Nachrichten bereits vor dem Absenden nach gezielten Inhalten durchsucht würden, allerdings eben nur jener, die der Filter nicht zuvor schon an eine dritte Stelle extrahiert hat.

Außerdem ließe sich der Anwendungsbereich natürlich nachträglich unkompliziert auf die Suche anderer Inhalte auszuweiten.

Weltweit bekannte IT-Sicherheitsforscher:innen und Erfinder von Verschlüsselungssystemen kritisieren in einer gemeinsamen Studie mit dem Titel „Wanzen in unserer Hosentasche“ alle Pläne für Inhalte-Scanner auf den Geräten von Endnutzer:innen. Dieses so genannte Client-Side-Scanning (CSS) sei eine Gefahr für Privatsphäre, IT-Sicherheit, Meinungsfreiheit und die Demokratie als Ganzes.

[¹²] [¹³]

Rufschädigung der EU und hier ansässiger Unternehmen

Die Europäische Union hat mit ihrem Engagement im Datenschutz namentlich der Datenschutzgrundverordnung weltweit Sichtbarkeit erlangt. Faktisch alle Unternehmen und mit ihnen ein großer Teil der Bevölkerung mussten sich mit dem Thema auseinandersetzen und konnten eine bessere Praxis entwickeln. Die Rechte der Bürger bzgl. der Verarbeitung ihrer Daten wurde erheblich gestärkt. Dies strahlt über die Grenzen der EU hinaus und setzt Regierungen tendenziell unter Druck, die ihren Bürger*innen entsprechende Rechte verweigern oder in deren Kommunikation eingreifen.

Potentielle Kund*innen wissen, dass sie bei europäischen Unternehmen mit einem besonders sensiblen Umgang mit ihren Daten rechnen können und Einblick in deren Verarbeitung erhalten.

Die Chatkontrolle gefährdet dieses Alleinstellungsmerkmal der Europäischen Union. Es sendet ein Signal an andere Regierungen, dass ein Filtern der privaten Kommunikation ihrer Bürger zu Zwecken der Strafverfolgung bürgerrechtlich keine Problem darstellt. Wonach diese Systeme dann jeweils genau filtern und wie transparent diese Filtertechnologien sind, erscheint an der Stelle lediglich noch als eine Detailfrage. Insgesamt werden die Vorzüge der demokratischen Regierungsform schwerer vermittelbar.

Unternehmen stehen vor dem Problem ihren Kund*innen kommunizieren zu müssen, dass ihre Daten an dritter Stelle weiterverarbeitet werden, über die Details dieser Verarbeitung keine genaue Kenntnis vorliegt und ggf. schlimmstenfalls strafrechtliche Ermittlungen daraus resultieren können.

Kaum leistbarer Aufwand für kleinere Anbieter, großes Auftragsvolumen für „Global Player“

Die Chatkontrolle belastet vor allem kleine Anbieter von IT-Services, weil sie die Filtersysteme in ihre Produkte integrieren müssen. Sie müssen ihre Prozesse und Technologien anpassen und die Filterlösung bei Drittanbietern voraussichtlich kostenpflichtig erwerben. Gleichzeitig verlieren sie potentiell Kund*innen, weil sie diesen gegenüber die neuen Einschnitte in den Datenschutz vermitteln müssen.

Dem gegenüber stehen voraussichtlich große Profitaussichten bei IT-Großunternehmen. Für sie eröffnet sich durch die Filterlösungen ein neuer Markt bei der EU als Berater und Anbieter der Chatkontrollfilter as-a-service. Darüber hinaus erhalten sie Hoheit über sämtliche Kommunikationsdaten und rücken ihrer kommerziellen Nutzung einen Schritt näher. Durch die verpflichtende Integration in Client-Geräte bauen sie ihre Oligopolstellung auf dem Markt weiter aus.

Der Dammbruch

Kritiker*innen der Chatkontrolle heben verschiedentlich hervor, dass mit der Chatkontrolle im Zusammenhang mit Kinderpornographie die technische Möglichkeit für weitere verdachtslose Kommunikationsüberwachung gelegt werden könnte. Denkbar wäre, dass das kostspielige System als nächstes zur Terrorismusbekämpfung, dann als bald für organisierte Kriminalität/ Drogenhandel, dann Fakenews/ Propaganda feindlicher Mächte usw. ohne größeren Aufwand ausgebaut werden könnte. Außerdem könnte jenseits der Filteralgorithmen anderen Organisationen wie Geheimdiensten oder Polizeien ein einfacher, wenig kontrollierter Zugriff auf sensible persönliche Daten gewährt werden. Insgesamt verwundert das Gesetzesvorhaben der EU, da es trotz hohem Aufwand für den Verwendungszweck des Kinderschutzes wie oben dargelegt wenig geeignet erscheint und selbst Interessengruppen zu dem Thema wie der Deutsche Kinderschutzbund derartige Maßnahmen ablehnen.

In jedem Fall würde Regierungen hiermit ein machtvolles Werkzeug an die Hand gelegt, dass mit wenig Anpassungsaufwand auch gegen Opposition zum Einsatz kommen könnte. Zwar sind Regierungen der EU demokratisch gewählt, damit sie jedoch dauerhaft einer demokratischen Kontrolle unterliegen, bedarf es neben einer unabhängigen Justiz und Presse auch der Rede- und Versammlungsfreiheit der Bürger*innen und diese könnte durch einer entsprechenden Gebrauch der Chatfilter gefährdet werden und sie ist bereits dann gefährdet, wenn Bürger*innen sich nicht mehr sicher darüber fühlen, wer alles einer Unterhaltung beiwohnt.

Wir brauchen eine Digitalisierung, die den Bürger*innen hilft und sie empowered, nicht eine, die kontrolliert und manipuliert. Und daran arbeiten wir täglich.

Was kann ich dagegen tun?

Es gibt bereits eine Petition, die sich mit wenigen Klicks unterstützen lässt: Petition Chatkontrolle stoppen

Sicherlich wird es auch vor Ort in vielen Städten Möglichkeiten zu Austausch und politischer Meinungsäußerung geben. Weiterhin lohnt es sich im eigenen Freundes- und Bekanntenkreis über das Thema zu informieren - zum Beispiel durch Teilen dieses Textes. Auch bei IT-Anbietern oder Verantwortungsträgern kann Besorgnis über die Chatkontrolle zum Ausdruck gebracht werden um Stellungsnahmen und Handlungen zu bewirken.

Wir freuen uns auch gerne über Anregungen und Zuspruch per Email.

Ich/ Wir sind selbst in der IT-Branche tätig?

Wir würden uns über Austausch zum Thema Chatkontrolle mit anderen Unternehmen und Selbständigen aus der IT-Branche freuen. Eventuell läßt sich eine Kampagne kleiner und mittelständischer Unternehmen ins Leben rufen. Gerne verlinken wir hier auch weitere Stellungnahmen zu dem Thema.

Quellen