Sind durch Algorithmen getroffene Entscheidungen automatisch fair?

Keyfacts:

• Anders als wir Menschen, entscheiden Machine Learning Algorithmen frei von Empfindungen, Vorurteilen und nutzen Daten als Entscheidungsgrundlage.
• Da Machine Learning Ergebnisse stark von den Daten abhängen, mit denen sie trainiert werden, sind sie nicht automatisch fair.
• Mit der Wahl der richtigen Methode ist es jedoch möglich, fehlende Fairness und Ungleichbehandlung zu identifizieren und zu minimieren.
• Diese Methoden können auch bei herkömmlichen Ansätzen verwendet werden.

Immer mehr kritische Entscheidungen und Prozesse in Banken und Unternehmen werden durch Algorithmen und Machine Learning Ansätze unterstützt. Zum Beispiel im Rahmen von Bewerbungsprozessen, der Kommunikation mit Kunden, bis hin zu Kreditentscheidungen bei Banken. Algorithmen sind objektiv, denn sie treffen Entscheidungen auf Basis von Daten und sind – anders als wir Menschen – frei von Vorurteilen, Ungleichbehandlung und Diskriminierung. So die Theorie. Doch wie sieht die Praxis aus?

Machine Learning Algorithmen sind nicht automatisch fair

Da die Ergebnisse von Machine Learning Algorithmen sehr stark von den Daten abhängen, mit denen Sie trainiert werden, können Machine Learning Modelle nur so fair und objektiv sein, wie die Trainingsdaten selbst. Weisen die Trainingsdaten zum Beispiel Verzerrungen, auch Bias genannt, auf (z.B. überproportionaler Anteil einer Bevölkerungsgruppe), besteht die Gefahr, dass Algorithmen so trainiert werden, dass sie unfaire oder diskriminierende Entscheidungen treffen. Die Nutzung von Machine Learning allein garantiert somit nicht automatisch Fairness und Gleichbehandlung.

Die Gründe für Bias in Daten sind vielfältig. So ist die Entscheidung, welche Daten verwendet werden und welche nicht, bereits eine mögliche Ursache für Bias. Datensätze werden oftmals durch menschliche Eingriffe erhoben, wodurch wieder der menschliche Faktor Einzug hält. Daten können aber auch, durch z.B. historische Gegebenheiten, so beschaffen sein, dass bestimmte Gruppen unterrepräsentiert sind (z.B. Statistiken über Eigenschaften von Vorständen in Unternehmen in denen Frauen historisch unterrepräsentiert sind).

Die Definition von Fairness hängt vom einzelnen Anwendungsfall ab

Im Rahmen der Entwicklung und des Betriebs eines Machine Learning Algorithmus ist es jedoch möglich, fehlende Fairness und Ungleichbehandlung mithilfe von verschiedenen Ansätzen zu identifizieren und zu vermeiden. Vorab stellt sich jedoch die Frage, wie das eigene Institut Fairness und Gleichbehandlung definiert und welche Auswirkung das auf den konkreten Anwendungsfall hat. Weitverbreitete Beispiele für die Definitionen von Fairness im Machine Learning Kontext sind unter anderem:

• Demographic parity:

Ein Machine Learning Modell erfüllt diese Eigenschaft, wenn das Modell die gleiche Anzahl an positiven Modellvorhersagen für alle Ausprägungen einer sensiblen Variablen ausgibt. Betrachten wir beispielsweise ein Machine Learning Modell zur Kreditvergabe mit der sensiblen Variable Geschlecht, dann müsste die Rate an Frauen und Männern, die den Kredit erhalten, gleich sein, um „Demographic parity“ zu erfüllen.

• „Equality of opportunity“:

Hierbei werden die Eingangsdaten mit der Vorhersage in Beziehung gesetzt. In den Trainingsdaten werden jene Personen betrachtet, die ein positives Kreditrating haben und auch durch das Modell mit einem positiven Kreditrating klassifiziert worden sind. Das Modell erfüllt dann „Equality of opportunity“, wenn innerhalb dieser Gruppe der Anteil an Frauen und Männern gleich ist. Mit anderen Worten sollen Individuen, die gleichermaßen qualifiziert sind, auch die gleichen Chancen haben, unabhängig von den sensiblen Variablen.

• „Counterfactual Fairness“:

Bei diesem Modell werden zunächst ohne Anpassung der Daten Modellvorhersagen getroffen. Anschließend werden die Ausprägungen der sensiblen Variablen permutiert (z.B. wird das Geschlecht im ganzen Datensatz vertauscht). Das Modell erfüllt „Counterfactual Fairness“, wenn die Modellvorhersage durch die Anpassungen nicht geändert wird.

Da es schon aus rein ethischen Gesichtspunkten viele verschiedene Fairnessauffassungen gibt, ist es unmöglich eine goldene Metrik von Fairness zu definieren und hängt stets vom Einzelfall ab.

Entlang des Machine Learning Zyklus Fairness und Gleichbehandlung herstellen

Unfairness und Ungleichbehandlung kann entlang der drei Phasen eines Machine Learning Zyklus minimiert werden. Diese drei Phasen sind:

• Pre-Processing:

In dieser Phase erfolgt die Zusammenstellung und die Aufbereitung der Daten, die für das Lernen des Machine Learning Algorithmus verwendet werden. Die Eingangsdaten können dabei so bearbeiten werden, dass diese nicht mehr diskriminierend sind. Eine Möglichkeit ist das Entfernen der sensiblen Informationen aus dem Datensatz. Dieser Ansatz kann jedoch problematisch sein, da zum einen andere Daten in dem Datensatz mit der sensiblen Information korreliert sein können. Zum anderen ist durch das Entfernen keine Kontrolle über die Fairness mehr möglich.

Wenn Ausprägungen der sensiblen Informationen unterrepräsentiert sind, kann durch das Erzeugen von synthetischen Daten ein ausgewogener Datensatz hergestellt werden (KPMG Klardenkerartikel zu synthetischen Daten). Gleichermaßen können überrepräsentierte Datenpunkte aus dem Datensatz entfernt werden, sodass die sensiblen Variablen gleich repräsentiert sind. Dieses Vorgehen ist sehr einfach umzusetzen, jedoch kann die Genauigkeit des Modells darunter leiden, da Daten mit eventuell wertvollen Informationen aus dem Datensatz entfernt werden.

• Lernen:

Auf Basis der Trainingsdaten „lernt“ der Algorithmus Entscheidungen zu treffen. Während des Lernens können Nebenbedingungen definiert werden, welche die Modellvorhersagen erfüllen sollen. So können zum Beispiel die erwähnten Metriken „Demographic Parity“ und „Equality of Opportunity“ direkt während des Lernens als Nebenbedingung vorgegeben werden. Ein Nachteil, der bei diesem Ansatz zu beachten ist, dass die Erfüllung der Nebenbedingung die Genauigkeit der Modellvorsage reduzieren kann.

• Post-Processing:

Nach dem Lernen erfolgt das Testing, Validierung und die Anwendung des Machine Learning Algorithmus. Im Post-Processing ist es wichtig, dass die Ergebnisse wieder auf die Erfüllung der Fairness Metrik regelmäßig überprüft werden. Darüber hinaus gibt es Möglichkeiten das Ergebnis weiter so zu beeinflussen, dass die Vorgaben an Fairness und Gleichbehandlung eingehalten werden. .

Machine Learning kann mit den richtigen Methoden fair und nicht-diskriminierend sein

Es gibt nicht nur viele unterschiedliche Definitionen von Fairness, sondern es gibt auch viele Möglichkeiten, technisch auf die Diskriminierung in den Daten bzw. in einem Modell zu reagieren.

Die Entscheidung, wann ein bestimmtes Modell fair ist und wie mit Diskriminierung umgegangen wird, ist stets vom Einzelfall abhängig. Basis sollte aber eine übergreifende Definition von Fairness im Unternehmen sein. Auch im Rahmen der Validierung und im Model-Governance Prozess sollte Fairness eine zentrale Rolle einnehmen. Verantwortlichkeiten für die Überprüfung und eine regelmäßige Überwachung können helfen, frühzeitig mögliche Schwächen zu identifizieren.