Es gibt in der modernen Welt des 21. Jahrhunderts wenige Komponenten, auf die man sich verlassen könnte. Eine Pandemie dreht binnen weniger Wochen unser gesamtes öffentliches Leben auf Null, die Klimakrise und ihre sozialen wie wirtschaftlichen Folgen stehen am Horizont und die Taliban erklären binnen weniger Tage eine 20 Jahre lang aufrechterhaltene NATO-Mission für gescheitert. Man könnte meinen, nichts ist mehr sicher – wäre da nicht die Europäische Kommission. Kaum ist die Debatte um Uploadfilter und Artikel 13 bzw. 17 fast schon wieder in Vergessenheit geraten, erinnern uns die Verantwortlichen im Europäischen Rat und der Kommission daran, dass nichts beständiger zu sein scheint als ihr Talent für digitale Inkompetenz und gefährliche Eingriffe in Grundrechte.
Aber von vorne: in der Europäischen Union möchte man nun vehement gegen die digitale Verbreitung von sexualisierter Gewalt gegenüber Minderjährigen vorgehen. Und weil die Beweissicherung im digitalen Raum in diesem Umfeld wohl nicht immer von Erfolg gekrönt ist, hat man sich etwas ganz besonderes ausgedacht: Chatkontrolle. Die Idee dahinter ist natürlich nicht neu. Schließlich wäre es für Staat und Ermittlungsbehörden schon immer fantastisch gewesen, wenn sie die gesamte Kommunikation ihrer Bürger:innen überwachen könnten. Neu ist hingegen der Eingriff, den man hier vorsieht. In der Regel gibt es bei modernen digitalen Kommunikationsmitteln nämlich ein Problem: Ende-zu-Ende-Verschlüsselung.
Die Mathematik ermöglicht es seit Mitte der 1970er Jahre, mit dem RSA-Verfahren sogenannte asymmetrische Verschlüsselungsverfahren zu nutzen. Auch wenn die Nachrichten dabei über diverse Mittelsmänner gehen, kennen nur Empfänger und Sender die jeweils nötigen Schlüssel. Doch Mitte diesen Jahres hatte Apple eine Idee: im Kampf gegen die Verbreitung besagter Inhalte wollte man erstmalig eine neue Technik namens “Neural Hashes” benutzen, um auf den Geräten der Nutzer selbst eine Prüfsumme über den Inhalt der Bilder zu ermitteln, die dann mit Prüfsummen strafbarer Inhalte verglichen werden konnte. So müsste man halbwegs datenschutzkonform nur die Bilder vom Gerät des Nutzers an die polizeilichen Stellen übermitteln, die nach Aussage einer künstlichen Intelligenz eine Ähnlichkeit mit strafbaren Inhalten aus dem Bereich der Gewaltkriminalität gegenüber Kindern aufweisen. Das freiwillige Proof of Concept durch Apple inspiriert nun – wer hätte es gedacht – die EU, eine solche Überprüfung gleich verpflichtend zu machen. Frei nach dem Motto: was möglich ist, wird auch gemacht.
Das Vorhaben zeigt auf zwei sehr drastische Weisen das technische Unverständnis der Europäischen Kommission auf der einen und ihre offenbar schamlosen Überwachungsphantasien auf der anderen Seite. In der Praxis bedeutet das nämlich eines: eine gesetzliche Verpflichtung für Software, vor der Verschlüsselung von sämtlicher Kommunikation eine KI auf dem Gerät der Nutzer:innen laufen zu lassen und bei Ausschlag des Programms selbstständig eine Anzeige zu erstatten. Dabei ist zu betonen, dass sämtliche Nachrichten, unabhängig ob ein Verdacht besteht oder nicht, von den Bild- und Texterkennungsfiltern ausgewertet werden. In Folge kann das vieles bedeuten: Hausdurchsuchungen, polizeiliches Gewahrsam und natürlich einschneidende Eingriffe in die Privatsphäre. Der Staat greift damit in einen erheblichen Schutzbereich seiner Bürger:innen ein, entledigt ihn im Grunde sämtlicher Privatsphäre in der digitalen Kommunikation und gibt wesentliche Bestandteile eines rechtsstaatlichen Verständnisses von Unschuldsvermutung und Beweissicherung auf. Der Europäische Gerichtshof hat in der Vergangenheit bereits mehrfach die verdachtsunabhängige und permanente Auswertung privater Kommunikation ( z.B. Vorratsdatenspeicherung, Anm. d. Red.) als grundrechtswidrig eingestuft. Für die Europäische Kommission ist das scheinbar kein Hindernis.
Fehlerquote: 80%
Dass Datenerhebung allein nicht reicht, wird jedem klar sein, der schon einmal versucht hat, eine Excel-Tabelle mit mehr als 100 Zeilen zu interpretieren. Analog zu den erhobenen Daten benötigt es also immer eine Analyse, die dann ihre Schlussfolgerungen zieht. Bis heute haben genug Datenanalysen Probleme damit, vermeintlich einfache Muster fehlerfrei zu erkennen. In besagtem Vorhaben der EU geht man aber noch einen Schritt weiter: die KI soll erkennen, was eine strafbare Handlung im Bereich der sexualisierten Gewalt gegenüber Minderjährigen sein könnte. Sie muss also zwischen den Strandbildern aus dem Urlaub und strafrechtlich relevantem Bildmaterial unterscheiden. Und zwar auf der einen Seite so, dass die tatsächlich strafrechtlich relevanten Bilder nicht leicht verändert werden könnten um schließlich als “unproblematisch” zu gelten, gleichzeitig aber auch derart, dass nicht zu viele völlig unproblematische Bilder auf den Tischen der Ermittlungsbehörden landen. Die Implementierung durch Apple, auch unter Neural Hashes bekannt, scheitert ziemlich grob an beidem. So gelang es bereits, Bilder sowohl in die eine Richtung als auch in die andere zu manipulieren. In der Praxis kommt eine Fehlerquote von 80% hinzu1. Bedenkt man, dass es also möglich ist, strafrechtlich relevante Bilder so zu manipulieren dass sie nicht mehr von der KI als solche erkannt werden, stellt sich die Frage, wie sinnvoll dieses Instrument überhaupt sein kann, um Teile der organisierten Kriminalität zu bekämpfen. Andererseits besteht ebenso die Option, dass gezielt erzeugte Hash-Kollisionen (unproblematische Bilder die nach Modifikation den selben oder einen sehr ähnlichen Hash zu strafrechtlich relevanten Bildern besitzen) nicht nur für 80% zufällige Fehlerquote, sondern auch für gezieltes “Anschwärzen” benutzt werden.
Missbrauch vorprogrammiert
Die Grenzen zu einem Überwachungsstaat – und so drastisch muss man es bei diesem Vorhaben leider formulieren – verschwimmen hier bis zur Unkenntlichkeit. Es ist ein offenes Geheimnis, dass die Arbeit von Ermittlungsbehörden in der Praxis jede Gelegenheit nutzen wird, die sich ihr legal ergibt. Bereits heute wird die Telekommunikationsüberwachung durch Behörden nachweislich zweckentfremdet. Das BKA bekommt nun also die intimen Bilder von mir und meinem Freund zugeschickt, weil die KI einen Verdacht auf sexuelle Inhalte mit Minderjährigen entdeckt? Ermittelt wird schlussendlich gegen mich wegen Verstoß gegen das BtMG. Auf dem Nachtschrank lag ein halbes Gramm Cannabis. Eine solche Situation ist angesichts der Tragweite dieses Vorhabens keine bloße Phantasie mehr. Und in der Praxis stellt dieses Vorhaben einen weiteren Dammbruch dar: de facto wird damit die Justiz zu einem Teil privatisiert. Wenn auch am Ende noch Ermittlungsbehörden über die Daten schauen, findet ein erheblicher Teil der Auswertung durch automatisierte Software statt – und damit durch private Unternehmen. Das ist bei genauer Betrachtung ein Novum und hat wenig mit einem Verständnis von staatlicher Gewalt zu tun – es sein denn, man ist gnadenlos naiv. Außerdem wird damit de facto ein Brecheisen an sichere Kommunikation im Allgemeinen gelegt, die ihre Legitimität grundsätzlich infrage stellt. Dass dieser Prozess folgenlos für die Rechte von Minderheiten, LGBTQ-Personen und politischen Aktivist:innen auf der ganzen Welt sein wird, ist schwer vorstellbar.
Das Tor zur Überwachung
Interpretiert man dieses Vorgaben politisch, bedeutet der hiesige Grenzübertritt gegenüber dem digitalen Briefgeheimnis vor allem eines: weitere schwere Grenzüberschreitungen. Denn, wenn wir das bei Kinderpornographie machen können, warum dann nicht auf bei Drogen? Bei Steuerhinterziehung? Vielleicht bei allem? Im Lichte der Überwachungslogik an der einen Stelle sind das die logischen Schritte, auch wenn sie vielleicht nicht offen kommuniziert werden. Solange es Konzerne gibt, die Versprechungen der totalen Sicherheit durch Datenerhebung erzählen, wird die Grenze des Machbaren weiter und Stück für Stück verschoben – und damit auch die Grenze der Freiheits- und Grundrechte. Denn die Ansprüche einer derart weitgehenden Massenüberwachung sind nicht vereinbar mit den aktuellen Auslegungen von Privatsphäre, Grundrechten und ihren Schutzbereichen. Es folgt also das eine zwangsläufig aus dem anderen. Bis es gläserne Bürger:innen sind, die für jede vom Smartphone dokumentierte vermeintliche Straftat binnen Sekunden angezeigt werden. Soziale Credits wie in der Volksrepublik China erscheinen uns in diesem Licht dann wahrscheinlich als eine vernünftige weitere Maßnahme – schließlich ist ja alles nur im Interesse von uns allen. Wer nichts zu verbergen hat, braucht schließlich keine Angst vor der fehlerfreien und gewissenhaften Kontrolle durch Staat, Polizei und Justiz zu haben. Oder so ähnlich.
Dass eine derartige Entwicklung es also weniger vermag, eine Idylle aus Gesetzestreue und Frieden zu erzeugen als vielmehr das Ende von unabhängigen und demokratischen Institutionen, benötigt wenig Phantasie. Überwachung führt zwangsläufig und fast immer zu einem strukturellen Missbrauch und damit zur Delegitimation von Freiheitsrechten zu Gunsten einer vermeintlichen “Sicherheit”. Eben diese Freiheitsrechte sind aber die Grundlage, auf der eine demokratische und pluralistische Gesellschaft nur funktionieren kann. Eine Gesellschaft, in der digitale Kommunikation immer überwacht und durch KI’s überprüft wird, ist einer digitalen Versklavung ihrer Bürger:innen näher als der Freiheit. Privatsphäre ist also keine seltsame Forderung von Kriminellen, sondern die elementare Grundlage für alle anderen Freiheitsrechte. Dass sie im Namen der Kriminalitätsbekämpfung so stark bekämpft wird, sollte zu denken geben. Denn aus der dahinterstehenden Logik resultieren letztlich gefährliche Umdeutungen rechtsstaatlicher Prinzipien, die vor nicht allzu langer Zeit noch als unverhandelbar galten.
Der Gastbeitrag spiegelt die Meinung des Gastautors wider.
