Künstliche Intelligenz (KI) verheißt enormen Fortschritt. Lernende Systeme können beispielsweise treffsichere medizinische Diagnosen stellen, Autos steuern oder passende Werbeangebote auswählen. Sie übernehmen klaglos schwere, gefährliche oder einfach nur langweilige Arbeiten. Wie wir in unserem vorherigen Artikel „Die Zukunft ist jetzt: KI und die Chancen für Finanzdienstleister“ aufzeigen, können insbesondere auch Banken und Versicherungen von künstlicher Intelligenz profitieren.

So setzen immer mehr Finanzdienstleister KI ein, um bestehende Prozesse und Analysen mithilfe von KI zu optimieren und dadurch effizienter und effektiver zu werden – beispielsweise bei der Abwicklung von Schadensfällen oder bei der Auswertung großer Datenmengen zur Vorhersage von Kreditwürdigkeit oder bei der Betrugserkennung. Darüber hinaus kann und sollte KI auch für die Entwicklung neuer Produkte bis hin zu neuen Geschäftsmodellen genutzt werden. Kurzum, KI kann für Finanzdienstleister, welche sich einer verschärften Wettbewerbssituation, gestiegenen Kundenerwartungen und einem dadurch gestiegenen Innovations- und Kostendruck ausgesetzt sehen, zu einem nachhaltigen Problemlöser werden.

Doch selbstständig agierende Maschinen stellen uns vor knifflige Herausforderungen: Nicht nur, dass sie wie alle vernetzten Dinge verwundbar sind durch Cyberangriffe und dabei sogar einen zusätzlichen Einfallswinkel bieten. Sofern sie beispielsweise mit verzerrten Daten trainiert werden, können unbrauchbare Ergebnisse oder sogar unbeabsichtigte Verstöße gegen ethische Werte und Normen die Folge sein. Zu allem Überfluss können oft nicht einmal ihre Erfinder transparent erklären, wie die Algorithmen zu ihren Entscheidungen kommen. Akzeptanz und Vertrauen bei Mitarbeitern, Kunden und der Öffentlichkeit erreicht aber nur, wer die Risiken der künstlichen Intelligenz unter Kontrolle hat.

Die große Frage: Wie trifft die KI ihre Entscheidungen?

Mithilfe von Machine Learning, einem Teilgebiet der künstlichen Intelligenz, werden IT-Systeme in die Lage versetzt, auf Basis vorhandener Trainingsdaten autonom und mit zunehmender Genauigkeit komplexe Aufgaben zu lösen. Die praktische Umsetzung von Machine-Learning-Anwendungsfällen erfolgt mittels Algorithmen. Diese unterscheiden sich grob darin, ob das Lernen beaufsichtigt (Supervised Learning) oder unbeaufsichtigt (Unsupervised Learning) erfolgt. Ein weiteres Unterscheidungsmerkmal ist die Komplexität der Algorithmen und der zugrundeliegenden Architektur. Und genau hier liegt das Problem. In der Regel liefern die komplexeren Modelle präzisere Ergebnisse. Diese wiederum sind aber auch schwieriger nachzuvollziehen. Dies trifft besonders auf einen Teilbereich des Machine Learnings, dem Deep Learning, zu. Beim Deep Learning werden als Architektur künstliche neuronale Netze mit vielen Schichten zwischen Dateninput und Ergebnis verwendet. Jede Schicht besteht aus einer Anzahl von Knotenpunkten (=Neuronen), die je nach Architekturart jeweils mit allen Neuronen der Vor- und Folgeschicht oder nur mit einem bestimmten Set von Neuronen der anderen Schichten verbunden sind. Jedes Neuron in jeder Schicht hat zudem eine Gewichtung, die den Input an dieser Stelle zu einem neuen Output – der wiederum den Input für die nächste Schicht darstellt – verändert. Die Aktivierung des jeweiligen Neurons durch den Input der vorhergehenden Schicht findet nur statt, wenn bestimmte Schwellenwerte überschritten werden. Das bedeutet, jedes Neuron besitzt zusätzlich eine eigene Aktivierungsfunktion. Über die Anwendung des darüberliegenden Algorithmus mit den Trainingsdaten wird diese Architektur nun in vielen Iterationen verfeinert. Vereinfacht gesprochen: Ist diese Architektur mit Hilfe der Trainingsdaten ausgebildet, kann sie auch für bisher unbekannte Daten aus dem gleichen Anwendungsfeld Muster erkennen oder Entscheidungen treffen.

Das Problem: Diese beim Deep Learning eingesetzten künstlichen neuronalen Netze können so komplex werden, dass selbst ihre Entwickler es schwer haben nachzuvollziehen, wie und wieso der Algorithmus zu seinem Ergebnis kommt.

Ist uns künstliche Intelligenz ähnlicher, als uns lieb ist?

Die manchmal undurchsichtigen Entscheidungen von selbst lernenden Systemen können dazu führen, dass diese uns Menschen ähnlicher werden, als uns lieb ist. Mittlerweile wissen wir, dass KI Vorurteile reproduzieren kann. Wenn ein Algorithmus im Bewerbungsverfahren Männer bevorzugt oder bei der Kreditvergabe Frauen benachteiligt, ist jedoch nicht die künstliche Intelligenz schuld, sondern die Daten, mit denen sie zu Beginn trainiert wurde. Wahrscheinlich hat die im Bewerbungsverfahren eingesetzte KI erkannt, dass im Unternehmen vorwiegend Männer arbeiten und „geschlussfolgert“, dass dies ein Erfolgsfaktor darstellt. Mit anderen Trainingsdaten, die eine gleiche Verteilung zwischen Männern und Frauen repräsentieren, wäre dies wahrscheinlich nicht passiert.

Es ist also nicht gleichgültig, mit welchen Daten die KI lernt. Doch wie lässt sich eine solche Voreingenommenheit aus den Daten herausfiltern? Damit Mechanismen zur Entzerrung der Daten bei gleichzeitiger Wahrung der Datenintegrität überhaupt zur Anwendung kommen können, ist entscheidend, dass ein solcher Bias frühzeitig identifiziert wird. Darum ist es bei der Entwicklung von KI-Lösungen und dem Aufbau der Test- und Trainingsdaten wichtig, dass sowohl Fach- als auch KI-Experten mit einbezogen werden. Die Fachexpertise hilft dabei, die Validität bestimmter Datensets zu bewerten und Risikoindikatoren (KRIs) zu definieren, die dann zur Überwachung und Identifikation von möglichen Datenverzerrungen genutzt werden. Im Gegensatz ist das Verständnis, wie KI denkt oder eben auch nicht denkt, wichtig, um beispielsweise Daten, deren Ergebnisse auf den ersten Blick valide aussehen, nicht sofort blind zu vertrauen.

Neben der Steuerung der Trainingsdaten spielt auch die Konfiguration des Lernalgorithmus eine wichtige Rolle. Um von Bias verzerrte Ergebnisse aus eigentlich integren Trainingsdaten zu vermeiden, kann es sinnvoll sein, sogenannte Hyperparameter zu definieren, welche dann aus dem Lernalgorithmus exkludiert werden. In dem Beispiel des männerdominierten Bewerbungsverfahrens könnte das Geschlecht ein solches „Ausschlusskriterium“ für den Lernalgorithmus sein.

Nur wer den spezifischen KI-Risiken adäquat begegnet, schafft Vertrauen

Wer das Vertrauen der Anwender in KI gewinnen will, muss die KI-spezifischen Risiken kennen und beherrschen.

Aggregiert lassen sich KI-Risiken in folgende vier Kategorien unterteilen:

• Integrität: Eine KI funktioniert nicht entsprechend ihrem Zweck.
• Erklärbarkeit: Eine KI ist so komplex, dass es nahezu unmöglich ist, nachzuvollziehen, wie und weshalb ein bestimmtes Ereignis aufgetreten ist.
• Fairness: Eine KI verstößt gegen unternehmensinterne oder gesellschaftliche Normen und Werte.
• Resilienz: Eine KI weist zum Beispiel eine erhöhte Verwundbarkeit durch Cyberattacken auf, wodurch es zu Störungen und Ausfällen der KI selbst wie auch von vor- und nachgelagerten Funktionen und Prozessen kommen kann.

Die meisten dieser Risiken können entlang des gesamten KI-Lebenszyklus, von Beginn der Entwicklung bis zum späteren Regelbetrieb, auftreten und sollten daher kontinuierlich gesteuert werden. Um dies zu bewerkstelligen, sollten unter anderem folgende Handlungsempfehlungen beachtet werden:

Um Integrität herzustellen, sollten adäquate KI-Entwicklungs- und Testroutinen konzipiert und implementiert sein, zudem sind fortlaufende Datenqualitätskontrollen von entscheidender Bedeutung. Auch sollten die Fachexperten hinsichtlich der Interpretation von Ergebnissen der KI-Lösung ausreichend durch KI-Experten geschult werden, um später falsche bzw. unsachgemäße Interpretationen und darauf basierende Entscheidungen zu vermeiden.

Um die Erklärbarkeit der KI-Modelle zu erhöhen, ist eine detaillierte Versionierung und Aufbewahrung der KI-Modelle bzw. des unterliegenden Algorithmus sowie der Datenbestände genutzter Test- und Trainingsdaten eine wichtige Voraussetzung. Weiterhin sollten zahlreiche unterstützende Analysen implementiert sein, die die komplexen Zusammenhänge innerhalb der Modelle verdeutlichen. Als ein Beispiel sind hier die Partial Dependency Plots zu nennen, bei denen es sich um Visualisierungen von marginalen Effekten von einer oder mehreren Variablen auf das Ergebnis handelt.

Um Fairness zu gewährleisten, sollten ethische Grundsätze für den Einsatz von KI übergreifend definiert, auf individueller KI-Lösungsebene konkretisiert, durch Performance-Metriken messbar und somit im Regelbetrieb überwachbar gemacht werden. Sofern potenzielle Verstöße identifiziert werden, sind diese anhand definierter Routinen zu erfassen, zu bewerten und ggfs. zu korrigieren.

Um eine hohe Resilienz der KI-Lösungen sicherzustellen, sollten individuelle und übergreifende Kapazitäts- und Performanceanforderungen für den Einsatz von KI-Lösungen definiert sein, der tatsächliche Ressourcenverbrauch gemonitort werden und Möglichkeiten zur dynamischen Skalierung bestehen. Zudem ist es äußerst wichtig, KI-Lösungen durch umfangreiche Cyber-Security-Kontrollen vor Manipulation und Ausfall zu schützen.

Eine ganzheitliche Steuerung von künstlicher Intelligenz ist essenziell

Bislang fehlen konkrete rechtliche Vorgaben, wie die Risiken im Umgang mit KI zu steuern sind. Institutionen wie die Europäische Bankenaufsicht (EBA), die Europäische Kommission und die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) haben als Leitlinie formuliert, dass KI transparent und ethisch sein und Nutzen für den Menschen und die Gesellschaft stiften soll. Darüber hinaus muss die Anwendung von KI im Einklang mit übergreifenden Regularien, wie zum Beispiel den Bankaufsichtlichen Anforderungen an die IT (BAIT), den Versicherungsaufsichtlichen Anforderungen an die IT (VAIT) oder den Mindestanforderungen an das Risikomanagement (MaRisk) sein. Es darf erwartet werden, dass in Zukunft zusätzlich verpflichtende KI-spezifische Vorgaben folgen.

Abseits bestehender und zukünftiger regulatorischer Vorgaben wird langfristig erfolgreich nur sein, wer KI nicht als Summe unabhängiger Einzelmaßnahmen begreift. KI und die damit verbundenen Risiken wirken sich auf alle Unternehmensbereiche aus – also sollte sie auch ganzheitlich gesteuert werden. Dazu sollte sie unter anderem im Einklang mit den strategischen Zielen des Unternehmens stehen, welche sich wiederum in der KI-Strategie wiederfinden. Ethische Werte und Grenzen müssen definiert und relevante Fragen – wie zum Beispiel: Welche Entscheidungen sollen nicht von Algorithmen getroffen werden? Wo muss ein Mensch das letzte Wort haben? Wie werden Mitarbeiter fit gemacht für KI? – beantwortet werden. Verantwortlichkeiten auf allen Ebenen müssen klar definiert sein. Lösungen sollten gemeinsam mit KI-, IT- und Fachexperten entwickelt und mit geeigneten Trainings- und Testdaten trainiert werden. Klare Antworten zu diesen organisationsübergreifenden Fragestellungen helfen auch dabei, den oben beschriebenen Risiken und deren negativen Auswirkungen vorzubeugen.

Trotz aller beeindruckenden Erfolge, die künstliche Intelligenz bereits heute vorweisen kann und in Zukunft erwarten lässt: Blindes Vertrauen kann fatal sein. Auch und gerade lernende Algorithmen sollten kritisch überwacht werden – zumal sie immer mehr Unternehmensentscheidungen unterstützen und unseren Alltag betreffen.