Algorithmisches Panopticon
Identifikation gesellschaftlicher Probleme automatisierter Videoüberwachung
Videoüberwachung, die trotz nicht nachgewiesener Effektivität und negativer Auswirkungen auf Individuen und Gesellschaft weltweit massiv ausgebaut wurde, soll durch Algorithmisierung in Zukunft so automatisiert wie möglich gestaltet werden. Dazu sollen nicht nur die bisherigen Aufgaben der OperateurInnen weitestgehend übernommen werden, sondern es wird auch eine Erhebung, Verarbeitung und Nutzung von Daten angestrebt, die über menschliche Kapazitäten weit hinausgeht. Aufgrund der technischen Funktionsweise, dem grundsätzlichen Charakter von Überwachung und der Automatisierung an sich, ist mit verstärkten und zusätzlich negativen Auswirkungen auf Individuen und Gesellschaft zu rechnen. Im Buch werden anhand aktueller wissenschaftlicher Publikationen die Funktionsweise und Fähigkeiten eines wahrscheinlichen Systems entworfen. Dies wird auf gesellschaftliche Probleme hin untersucht und Lösungsansätze werden diskutiert.
Identifizierte Probleme sind eine inhärente, gegen das Prinzip der Datensparsamkeit verstoßende, umfangreiche Erhebung von personenbeziehbaren Daten, eine gesteigerte Informationsasymmetrie zwischen Betroffenen und Überwachenden, ein daraus resultierender massiver Eingriff in das Recht auf informationelle Selbstbestimmung sowie eine Steigerung der selbstdisziplinierenden Wirkung auf Betroffene. Ansätze zur Anonymisierung von Daten sind technisch und konzeptuell ungenügend.
Mit der Technik der Verhaltenserkennung und -bewertung geht außerdem die Gefahr einer institutionalisierten Diskriminierung Betroffener einher, die – wenn überhaupt identifizierbar – nur schwer oder gar nicht zu unterbinden ist. Entgegen der allgemeinen Argumentation kann der Einsatz von OperateurInnen die umfangreiche Automatisierung nicht legitimieren und eine Verhinderung automatisierter Entscheidungen zum Nachteil Betroffener nicht sicherstellen. Zum einen können für eine mündige Entscheidung konzept- und technikbedingt keine adäquaten Informationen bereitgestellt werden. Zum anderen muss gegenüber der Assistenz durch das System aus psychologischen Gründen mit einem übersteigerten Vertrauen gerechnet werden, das zu einer mangelnden Überprüfung der – ohnehin unzulänglich überprüfbaren – Darstellung und Entscheidungen des Systems führt. Das Vertrauen kann nur teilweise und mit hohem Trainingsaufwand angepasst werden. Nicht nur Auswirkungen einzelner Maßnahmen, sondern auch das Stattfinden automatisierter Überwachung allgemein, können eine positive gesellschaftliche Entwicklung gefährden. Die Technik birgt außerdem die Gefahr, als Werkzeug zur Unterdrückung missbraucht zu werden.
Über das Buch
Das Buch „Algorithmisches Panopticon" ist die überarbeitete Version der interdisziplinären Diplomarbeit „Identifikation gesellschaftlicher Probleme automatisierter Videoüberwachung" von Benjamin J. Kees, die bei Prof. Wolfgang Coy am Lehrstuhl für Informatik in Bildung und Gesellschaft und bei Prof. Hartmut Wandke am Lehrstuhl für Ingenieurpsychologie der Humboldt-Universität zu Berlin entstanden ist.
(2.5.2017) Ich nehme die Installation automatisierter Videoüberwachung im Herbst 2017 am Bahnhof Berlin Südkreuz zum Anlass, mein Buch auf Netzpolitik.org zum freien Download zur Verfügung zu stellen:Das Buch ist erschienen in der Edition MV-Wissenschaft des Verlagshauses Monsenstein und Vannerdat. Leider existiert der Verlag seit kurzem nicht mehr. Eine Neuauflage ist geplant.
Klappentext
Algorithmen erfassen, analysieren und beurteilen jede Regung im öffentlichen Raum einer Großstadt.
Was wie Science-Fiction klingt, wird von Wissenschaft und Forschung längst mit Hochdruck für einen baldigen Einsatz vorangetrieben. Angestrebt wird eine möglichst umfassend automatisierte Überwachung, die nicht nur die Aufgabe der OperateurInnen übernimmt, sondern alle Möglichkeiten digitaler Datenerhebung und Informationsverarbeitung ausreizt. Dabei wird jedoch konsequent ignoriert, wie wichtig es für einen mit den Grundrechten vereinbaren Einsatz ist, die erhofften Vorteile gegen mögliche Risiken abzuwägen.Mit seiner als Buch überarbeiteten Diplomarbeit aus dem Gebiet Informatik und Gesellschaft, die auch für NichttechnikerInnen verständlich ist, geht Benjamin J. Kees einen ersten Schritt der versäumten Technikfolgeabschätzung nachzukommen. Zur Identifikation gesellschaftlicher Probleme skizziert er anhand aktueller Forschung und vorhandener Technik ein zu erwartendes Überwachungskomplettsystem und untersucht es aus technischer, psychologischer, soziologischer und rechtlicher Perspektive.
Er stößt dabei auf Datenschutzalbträume, rassistische und diskriminierende Algorithmen und entlarvt die Rolle menschlicher OperateurInnen als Feigenblatt einer unwägbaren Vollautomatisierung.
FIfF Studienpreis
Die zugrundeliegende Diplomarbeit wurde im November 2014 auf der FIfFKon14 mit dem FIfF-Studienpreis für herausragende Qualifikationsarbeiten aus dem Bereich Informatik und Gesellschaft ausgezeichnet.
„Die Arbeit behandelt ein immer noch hochaktuelles, gesellschaftlich und politisch relevantes Thema an der Schnittstelle von Informatik und Gesellschaft. Sie kommt zu wichtigen Ergebnissen für die Debatte um unsere Rechte und unsere Sicherheit."
- Laudatio (PDF)
Autor
Ich habe an der Humboldt-Universität zu Berlin Informatik und Psychologie studiert. Schwerpunkte des Studiums waren Überwachungstechnik am Lehrstuhl für Informatik in Bildung und Gesellschaft und Mensch-Technik-Interaktion am Lehrstuhl für Ingenieurpsychologie. Ich bin seit November 2015 Vorstandsmitglied des FIfF (Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung e.V.) und Mitglied der Fachgruppe "Informatik und Ethik" der Gesellschaft für Informatik. Seit 2012 bin ich Leiter der IT der Smart Energy for Europe Platform und seit Sommersemester 2017 Lehrbauftragter an der HTW Berlin.
Weitere Beiträge zum Thema
03/2018 – Erklärsendung auf Kinderkanal
2/2018 – Interview about:blank Video
12/2017 – Grenzen und Chancen der Überwachungstechnik – Digitale Augen
9/2017 – Interview in Dokumentationsfilm
Video: „Aufnahme #2: Der große Scan. Automatisierte Videoüberwachung am Berliner Bahnhof Südkreuz"
Website: „www.aufnahme.net/suedkreuz/"
9/2017 – Interview im Cicero
Interview: „Überwachung findet zunehmend asymmetrisch statt"
9/2017 – Lesung und Podiumsdiskussion in Leipzig
Website: „Wenn die Kamera mitdenkt – Die Aushöhlung unserer Grundrechte durch intelligente Videoüberwachung"
8/2017 – Interview in Tagesschau und Tagesthemen
Video: „Tagesthemen vom 1.8.2017"
Video: „Tagesschau vom 1.8.2017"
8/2017 – Pressemeldung für das FIfF
Pressemeldung: „Verfälschte Studie zur Tauglichkeit grundrechtswidriger Techniken"
7/2017 – Podiumsdiskussion Amnesty International in Hamburg
5/2017 – Interview auf Netzpolitik.org
5/2017 – Deutschlandradio Länderzeit
Website: „Tatsächlich mehr Sicherheit?"
MP3: „Podcast: Länderzeit"
Science Slam
Artikel: „Benjamin Kees gewinnt 43. Science Slam Berlin"
Video: „Von Computern, die auf Menschen starren" (10min)
Vortrag "Von Drohnen, die Piloten lenken"
auf der Tagung „Verkörperung von Algorithmen: Drohnen“
der Fachgruppe Informatik und Ethik der Gesellschaft für Informatik" am 16.10.2015
Gewissensbits – Fallbeispiele zu Informatik und Ethik
Fallbeispiel „Verhaltenserkennung"
Talk und Postersession auf der internationalen Konferenz für Technikfolgenabschätzung ITA Wien
Artikel in der FIfF-Kommunikation 2/2014
Über den Wunsch, Überwachung zu automatisieren
(überarbeitete Version des Artikels für den Freispruch)
Artikel im Freispruch – Mitgliederzeitung der Strafverteidigervereinigungen
Onlinetalk Deutschlandradio - Netz.Reporter XL
MP3 „Die Zukunft ist heute" (20:57 min)
Talk auf der Sigint 2013
Vortrag zum Zwischenstand meiner Forschung
Video (57 min incl. Technikpanne) | Folien
Interview für den Deutschlandfunk auf dem 29c3
Beitrag: „über Überwachungssoftware"
Audio: Peter Welchering im Gespräch mit Benjamin Kees (9:27 min)
Talk beim 29. Chaos Communication Congress 2013
Video: „INDECT, Verhaltenserkennung und Co." (63 min)
Teaser: automatisierte staatliche Verdächtigung
Studienarbeit
„Videoüberwachung" (PDF)
Seminararbeit
„Gesichtserkennung" (PDF)