Was ist der neue Jim-Kodex? Ist Technologie wirklich fair und objektiv? Rechnen Algorithmen einfach nur mit Zahlen und liefern Ergebnisse auf der Grundlage von Daten?
Ruha Benjamin stellt ein beunruhigendes Konzept vor, das sie "den neuen Jim-Code" nennt, und argumentiert, dass digitale Systeme die Ungleichheit aufrechterhalten. Lesen Sie weiter, um zu erfahren, wie scheinbar neutrale Technologien im Stillen verändern, wer Chancen erhält und wer zurückgelassen wird.
Was ist der neue Jim-Kodex?
Benjamin behauptet, dass wir in eine neue Phase in der Entwicklung des Rassismus eingetreten sind. Sie nennt dies den "New Jim Code", ein Begriff, der an Michelle Alexanders "New Jim Crow" angelehnt ist und die Kontinuität der rassistischen Kontrollmechanismen in der amerikanischen Geschichte unterstreicht. Bei dieser jüngsten Entwicklung geht es um Rassismus, der in digitale Technologien und Algorithmen eingebettet ist. Beispiele hierfür sind Gesichtserkennungssoftware, die Schwierigkeiten hat, dunkelhäutige Gesichter genau zu erkennen, und Algorithmen zur Risikobewertung, die Schwarze unverhältnismäßig häufig als "hochgefährdet" für die Begehung von Straftaten einstufen.
Die digitale Technologie vermittelt zunehmend den Zugang zu Chancen und Ressourcen. Wenn diese Systeme rassistische Vorurteile beinhalten, verschärfen sie die Ungleichheiten. Nehmen wir Algorithmen im Gesundheitswesen, die die Patientenversorgung bestimmen: Wenn diese Systeme frühere medizinische Ausgaben als Indikator für den medizinischen Bedarf heranziehen, empfehlen sie für schwarze Patienten eine geringere Versorgung als für weiße Patienten mit denselben Symptomen - nicht weil schwarze Patienten gesünder sind, sondern weil sie aufgrund des historischen Rassismus im Gesundheitswesen in der Vergangenheit weniger Zugang zu teuren Behandlungen hatten. In ähnlicher Weise können Algorithmen für die Vergabe von Hypothekenkrediten, die auf der Grundlage historischer Kreditdaten trainiert wurden, jahrzehntelanges "Redlining" fortsetzen, indem sie qualifizierten Antragstellern in überwiegend schwarzen Stadtvierteln Kredite verweigern.
(Kurzer Hinweis: Die heutigen Algorithmen im Gesundheitswesen sind ein modernes Kapitel in einer langen Geschichte der Rassenungerechtigkeit in der Medizin. So wurden beispielsweise versklavte schwarze Amerikaner von weißen Ärzten als unfreiwillige Versuchspersonen benutzt, und J. Marion Sims, der oft als "Vater der amerikanischen Gynäkologie" bezeichnet wird, perfektionierte seine chirurgischen Techniken, indem er versklavte Frauen ohne Anästhesie operierte. Auch Henrietta Lacks' Krebszellen wurden 1951 ohne ihre Zustimmung entnommen und bildeten die Grundlage für zahllose medizinische Fortschritte, doch ihre Familie erhielt jahrzehntelang keine Entschädigung oder Anerkennung. Durch diese Ausbeutung wurde medizinisches Wissen geschaffen, das in erster Linie weißen Patienten zugute kam, während gleichzeitig Muster der ungleichen Versorgung etabliert wurden, die bis heute fortbestehen).
Die Unsichtbarkeit des New Jim Code
Benjamin argumentiert, dass der New Jim Code besonders heimtückisch ist, weil wir Technologie als neutral, objektiv und fair ansehen. Sie erklärt, dass die Algorithmen, die die moderne Technologie steuern, mit Zahlen, Statistiken und Codes arbeiten und nicht mit expliziten rassischen Kategorien, so dass ihre Ergebnisse eher datengesteuert als meinungsbasiert erscheinen. Dieser Anschein wissenschaftlicher Autorität schirmt diskriminierende Ergebnisse vor einer Überprüfung ab: Wir hinterfragen eher das Urteilsvermögen eines Personalchefs als die Feststellung eines Algorithmus, dass bestimmte Bewerber "nicht in Frage kommen". Die Komplexität der Technologie schafft auch eine plausible Bestreitbarkeit: Die Entwickler können behaupten, sie hätten den Algorithmus nie so programmiert, dass er diskriminiert, auch wenn er genau das tut.
Aus diesen Gründen lehnen viele Menschen die Vorstellung ab, dass Technologie Rassismus aufrechterhalten kann. Benjamin argumentiert jedoch, dass ein System nicht von jemandem mit expliziter rassistischer Gesinnung oder böswilliger Absicht geschaffen werden muss, um rassistische Ergebnisse zu erzielen. Sie versteht Rassismus als eine systemische Kraft und nicht als eine persönliche Einstellung und argumentiert, dass wir Systeme nach ihren Auswirkungen und nicht nach ihren Absichten beurteilen sollten.
| Wie kodieren Algorithmen Vorurteile? Benjamins "New Jim Code" argumentiert, dass scheinbar neutrale Algorithmen rassistische Ungleichheiten aufrechterhalten können. Aber was genau ist ein Algorithmus, und wie können mathematische Berechnungen voreingenommen sein? Ein Algorithmus ist einfach eine Reihe von Regeln oder Anweisungen zur Lösung eines Problems oder zur Ausführung einer Aufgabe. In der Datenverarbeitung verarbeiten Algorithmen Eingaben (Daten), um auf der Grundlage vordefinierter Kriterien Ergebnisse (Entscheidungen oder Empfehlungen) zu erzeugen. Während die mathematischen Operationen selbst neutral sein können, gibt es mehrere Mechanismen, die zu Verzerrungen führen können. Erstens machen Algorithmen Annahmen darüber, was "normal" ist, basierend auf Mustern in ihren Trainingsdaten. Ein Gesichtserkennungssystem, das hauptsächlich auf weiße Gesichter trainiert wurde, entwickelt ein mathematisches Modell, das für die Erkennung von Merkmalen optimiert ist, die diesen Gesichtern gemeinsam sind. Bei Gesichtern mit dunklerer Hautfarbe kann es schlecht abschneiden, weil sein Modell nicht auf diese Merkmale kalibriert ist. Zweitens verwenden viele Algorithmen "kollaboratives Filtern", um Empfehlungen auf der Grundlage von Ähnlichkeitsmustern zwischen Benutzern zu geben. Dies führt zu Verzerrungen: Solche Algorithmen neigen dazu, bereits beliebte Artikel zu empfehlen, tun sich schwer mit neuen Artikeln, die nur wenige Bewertungen haben, und erstellen im Laufe der Zeit immer homogenere Empfehlungen. Menschen, die nicht den häufigsten Mustern in den Daten entsprechen, tragen die Hauptlast dieser mathematischen Verzerrungen. Wenn ein Algorithmus beispielsweise erfährt, dass die meisten erfolgreichen Bewerber in der Vergangenheit Ivy-League-Universitäten besucht haben, wird er Absolventen dieser Institutionen bevorzugen, was zu einer Benachteiligung von Bewerbern führt, die historisch gesehen schwarze Colleges oder Community Colleges besuchen. Wenn Algorithmen voreingenommene Vorhersagen treffen, die Entscheidungen in der realen Welt beeinflussen (z. B. wer Kredite, Arbeitsplätze oder Gesundheitsversorgung erhält), erzeugen diese Entscheidungen neue Daten, die die ursprüngliche Voreingenommenheit verstärken. So entsteht ein sich selbst verstärkender Kreislauf der technischen Diskriminierung, der objektiv erscheint, weil er durch mathematische Formeln ausgedrückt wird. |
Benjamin behauptet, dass die Kombination aus vermeintlicher Objektivität und technischer Undurchsichtigkeit dazu führt, dass Rassendiskriminierung im Rahmen des New Jim Code schwerer zu erkennen und zu bekämpfen ist als viele frühere Erscheinungsformen des Rassismus. Der New Jim Code betrifft praktisch alle Bereiche des modernen Lebens - von der Gesundheitsfürsorge, dem Bildungswesen und der Beschäftigung bis hin zum Wohnungswesen, der Strafjustiz und den sozialen Diensten - und ist damit möglicherweise die bisher am weitesten verbreitete und am schwierigsten zu bekämpfende Form des Rassismus.
(Kurzer Hinweis: Die meisten von uns sind sich nicht bewusst, wie viele Entscheidungen heute von Algorithmen getroffen werden: Kreditkartenanträge, Überprüfung von Bewerbungen, Hochschulzulassungen, medizinische Diagnosen, Verurteilung von Straftätern, Inhaltsempfehlungen, Anspruch auf Sozialleistungen, Hypothekengenehmigungen, Versicherungstarife und gezielte Werbung. Wie Hannah Fry (Hallo Welt) bemerkt: "Wir haben diese Algorithmen in unsere Gerichtssäle, Krankenhäuser und Schulen eingeladen, und sie treffen diese winzigen Entscheidungen in unserem Namen, die die Funktionsweise unserer Gesellschaft auf subtile Weise verändern. Die Menschen wissen selten, wenn sie von einem Algorithmus benachteiligt werden, was es besonders schwierig macht, diese Systeme anzufechten, verglichen mit offen diskriminierenden Praktiken der Vergangenheit).
