Die Macht der Daten: Was tun, wenn der Algorithmus Menschen diskriminiert?

Sie wollten die Finanzwelt revolutionieren. Apple-Chef Tim Cook sprach von der „größten Innovation im Kartengeschäft seit 50 Jahren“. Goldman-Sachs-Chef David Salomon nannte es den „erfolgreichsten Kreditkarten-Launch aller Zeiten“. Der Grund für ihre Euphorie: Die Investmentbank hat für den Techkonzern eine Kreditkarte entwickelt. Apple steigt damit in ein Geschäft ein, das bislang Banken vorbehalten war. Doch statt des großen Erfolgs steht am Anfang ihrer gemeinsamen Geschichte jetzt ein Shitstorm.

Ausgelöst hat den der US-Unternehmer David Heinemeier Hansson. Sowohl er als auch seine Frau haben sich die neue Kreditkarte angeschafft und festgestellt: Ihm räumt Apple einen 20 mal höheren Kreditrahmen ein als ihr – und das obwohl Hanssons Frau den höheren Creditscore der beiden hat, also die bessere Kreditwürdigkeit. Warum aber wird sie dann benachteiligt?

Das sei ein „sexistisches Programm“, schreibt Hansson Anfang der Woche auf Twitter und löst damit eine Welle der Empörung aus. Unterstützung bekommt er ausgerechnet von Steve Wozniak. Der Apple-Gründer berichtet Ähnliches: Auch ihm ist auf der Karte ein viel höherer Kreditrahmen eingeräumt worden als seiner Frau, obwohl sie weder getrennte Konten noch Vermögen hätten. Inzwischen hat sich die New Yorker Finanzaufsicht eingeschaltet und Ermittlungen aufgenommen.

Das Pikante an dem Fall: Wie hoch der Kreditrahmen bei der Apple-Karte ausfällt, entscheidet kein Banker – sondern der Computer. Ein Algorithmus wertet automatisch die hinterlegten Daten aus und bestimmt so, wem Apple wie viel Kredit im Monat gewährt. Trifft zu, was Hansson und Wozniak vermuten, werden Frauen dabei systematisch benachteiligt.

Goldman Sachs weist die Anschuldigungen zwar vehement zurück. „Wir haben und werden keine Entscheidungen auf Basis des Geschlechts treffen“, heißt es in einer Stellungnahme. Das Problem, das der Fall aufwirft, aber ist ein Grundsätzliches: Was passiert, wenn Konzerne Entscheidungen rein dem Algorithmus überlassen? Und wer trägt die Verantwortung, wenn auf diese Weise Menschen ungewollt benachteiligt werden?

In den USA wird darüber bereits laut diskutiert. Die Demokratin Elizabeth Warren, die 2020 als Präsidentschaftskandidatin antreten will, hat die Diskriminierung durch Algorithmen zu ihrem Thema gemacht. Apple forderte sie diese Woche auf, den Algorithmus sofort abzuschalten, der über den Kreditrahmen entscheidet. In der Pflicht sieht sie aber auch die Regulierer: Sie müssten sicher erstellen, dass die Antidiskriminierungsgesetze mit Innovationen Schritt hielten.

© imago images/ZUMA Press

Konzerne wie Institutionen überlassen immer mehr Entscheidungen dem Computer. Da wählt ein Algorithmus aus, wer zu einem Vorstellungsgespräch eingeladen wird oder welche Nutzer welche Werbung angezeigt bekommen. Er entscheidet, wer einen Studienplatz bekommt oder welcher Häftling vorzeitig aus dem Gefängnis entlassen wird.

Der Algorithmus soll die Entscheidung objektiv machen

Die Motivation dahinter ist klar: Zum einen ist es günstiger, den Computer die Auswahl treffen zu lassen als einen Mitarbeiter, der damit stundenlang beschäftigt wäre. Zum anderen glauben viele aber auch, die Entscheidung damit objektiv zu treffen. Schließlich wählt der Algorithmus rein auf Basis der Daten aus – menschliche Gefühle oder Vorurteile bleiben außen vor. Glaubt man jedoch Forschern, ist das eine Fehlannahme.

Dass Algorithmen faire Entscheidungen treffen, erweise sich „leider oft als Trugschluss“, sagt Carsten Orwat vom Institut für Technikfolgenabschätzung und Systemanalyse. Er und seine Kollegen vom Karlsruher Institut für Technologie (KIT) haben sich mit der Frage befasst, wie objektiv die Entscheidungen der Algorithmen tatsächlich sind. Ihr Ergebnis: „Werden Daten verarbeitet, die Bewertungen von Menschen über anderer Menschen beinhalten, so können sich Ungleichheiten und Diskriminierungen sogar verbreiten oder verstärken.“

Denn um Menschen eines bestimmten Geschlechts oder einer bestimmten Hautfarbe zu diskriminieren, muss der Algorithmus dieses Merkmal gar nicht zwingend erfassen und auswerten. Im Fall der Apple-Kreditkarte kann der Computer also selbst dann Frauen benachteiligen, wenn anfangs gar nicht abgefragt wird, welches Geschlecht der Kunde hat.

Nachgewiesen haben das gerade erst Wissenschaftler aus Berkeley, Boston und Chicago am Beispiel des US-Gesundheitssystems. Viele Krankenhäuser in den USA setzen auf einen Algorithmus, um herauszufinden, welche Patienten auf Basis ihrer Gesundheitsdaten und der bisherigen Behandlung in Zukunft besonders hohe Kosten verursachen könnten.

Wer auf diese Weise herausgefiltert wird, bekommt mehr Vorsorgetermine angeboten als andere Patienten. Die Forscher jedoch fanden heraus, dass Schwarze dabei kategorisch benachteiligt werden. Obwohl bei ihnen das Risiko einer chronischen Erkrankung ebenso hoch ist wie bei Weißen, haben die Krankenhäuser ihnen weniger Vorsorgetermine angeboten, weil der Computer das so vorgeschlagen hat.

Und passiert ist das, obwohl die Krankenhäuser die Hautfarbe der Patienten gar nicht erfasst hatten. Als Ursache haben die Forscher dafür die Datengrundlage ausgemacht: Weil Afroamerikaner häufiger keine Krankenversicherung haben, gehen sie seltener zum Arzt. Dadurch gibt es über sie schlicht weniger Daten im System, auch haben sie in der Vergangenheit weniger Kosten verursacht. Der Algorithmus hat daraus den falschen Schluss gezogen, dass sie seltener krank werden.

Auch Amazon musste reagieren

Ein ähnlicher Fehler ist auch Amazon unterlaufen, als der Konzern in den USA die Lieferung am Tag der Bestellung eingeführt hat. Anfangs gab es die nur in ausgewählten Gebieten – bis Journalisten aufdeckten, dass dabei kategorisch Stadtviertel ausgeschlossen werden, in denen mehrheitlich Schwarze leben. Und das obwohl Amazon die Hautfarbe der Kunden bei der Auswahl angeblich nicht berücksichtigt hatte. Eingeflossen sind stattdessen die Nähe zum nächsten Verteilzentrum und die Frage, wie viele Kunden Prime-Mitglieder sind. Nur korrelierte das offenbar mit der Hautfarbe.

Facebook wiederum ist die nutzerspezifische Werbung zum Verhängnis geworden. „Microtargeting“ nennt man das, wenn Anzeigen nur bestimmten Nutzern angezeigt werden. Filtern können Konzerne zum Beispiel nach dem Alter und auf diese Weise festlegen, dass nur 20- bis 30-Jährige ihre Werbung zu sehen bekommen. Etliche Unternehmen – darunter Amazon, UPS, T-Mobile und auch Facebook selbst – sollen das jedoch gezielt genutzt haben, um Stellenanzeigen ausschließlich an jüngere Nutzer auszuspielen. Über 40-Jährige bekamen die Jobangebote erst gar nicht angezeigt. Das aber ist Altersdiskriminierung – weshalb der Fall vor Gericht landete. Inzwischen hat Facebook reagiert: Wer eine Stellenanzeige bei dem sozialen Netzwerk veröffentlichen will, kann die Empfänger nicht mehr anhand ihres Alters aussortieren.

Experten wünschen sich einen Algorithmen-Tüv

Die Häufung dieser Fälle zeigt, dass es offenbar Handlungsbedarf gibt. Hierzulande hat sich deshalb auch bereits die Datenethikkommission mit dem Thema befasst. Sie sieht die Aufsichtsbehörden der Branchen in der Pflicht: Wenn der Algorithmus über den Kredit entscheidet, ist das also ein Fall für die Finanzaufsicht Bafin. Nach welchen Regeln der Algorithmus im autonomen Auto entscheidet, muss das Kraftfahrtbundesamt beackern. Zusätzlich wünschen sich die Experten ein Kompetenzzentrum, das die Fachaufseher unterstützt. Das Bundesarbeitsministerium baut zu diesem Zweck derzeit ein Observatorium für Künstliche Intelligenz (KI) auf. Ein „Algorithmen-Tüv“, wie ihn die Experten fordern, ist vorerst auf Bundesebene aber nicht geplant.

Im Fall der Kreditkarte von Apple und Goldman Sachs hat bereits der Shitstorm im Netz geholfen – zumindest David Heinemeier Hansson. Zwei Tage nach seinem Tweet kam die Nachricht von Apple: Man habe den Kreditrahmen seiner Frau nach oben angepasst.