Machine Learning & Explainable AI – Erklärbarkeit von maschinellem Lernen

Im Zuge der Digitalisierung wird das maschinelle Lernen in Banken verstärkt angewendet, sogenannte Machine-Learning-Ansätze werden unter anderem in der Risikomessung und -steuerung genutzt. Ihr Einsatz kann die Risikomessung und -steuerung verbessern, die Datenqualität erhöhen und die Arbeitsprozesse in der Linie optimieren. Konkrete Anwendungen im Risikomanagement sind zum Beispiel in der Modellierung von Sondertilgungen bzw. Prepayments bei Immobilienkrediten, in der Bewertung von Finanzprodukten oder in der Ergebnistreiberanalyse zu finden. (Mehr Infos dazu im Artikel „Finanzinstitute: Machine Learning steigert Qualität und Effizienz„)

Machine-Learning-Ansätze basieren darauf, Aufgaben durchzuführen, ohne speziell dafür programmiert worden zu sein. Dies führt zu neuen Herausforderungen in der Governance und Validierung.

Die spezifischen Herausforderungen hat die Aufsicht bereits erkannt und erste aufsichtsrechtliche Erwartungen für die Nutzung und Governance formuliert. Mit dem „Artificial Intelligence Act“ vom 21. April 2021 hat die EU einen Entwurf vorgelegt, um Artificial Intelligence und Machine-Learning-Ansätze zu regulieren.

Der Blick in die Black-Box

Ein prominentes Beispiel für die Herausforderung in der Anwendung von Machine-Learning-Algorithmen ist das sogenannte Black-Box-Dilemma. Dieses bezeichnet die Eigenschaft, dass Ergebnisse von Machine-Learning-Algorithmen, bedingt durch ihre Funktionsweise, nur schwer zu interpretieren und zu erklären sind.

Die Eigenschaft der Transparenz und Erklärbarkeit ist aber besonders bei Anwendungen im Risikomanagement sowohl im Rahmen der Entwicklung, des Betriebs und der Validierung ein zentraler Punkt.

Die Erklärbarkeit der Ergebnisse ist wichtig, um zu verstehen, ob der Machine-Learning-Algorithmus korrekt funktioniert und ob die Anforderungen des Risikomanagements erfüllt werden. So möchte man zum Beispiel im Rahmen der Prepayment-Modellierung verstehen, warum bei Neukunden das Prepayment-Risiko als hoch eingestuft wurde, warum sich das Risiko im Laufe der Zeit geändert hat oder welche Eigenschaften der Kreditnehmer das Prepayment-Risiko hauptsächlich definieren.

Erklärbarkeit ist weiterhin auch ein wichtiges Element bei der Validierung des Modells. Es unterstützt zum Beispiel die Einwertung, ob das Modell robust und stabil ist, ob es Minderheiten diskriminiert und ob die Ergebnisse insgesamt angemessen sind.

Explainable Artificial Intelligence (XAI) umfasst nicht nur die Analyse von Ergebnissen, sondern beginnt bereits bei den Input-Daten

Durch die zunehmende Bedeutung von Machine Learning in nahezu allen Lebensbereichen wurden in den letzten Jahren die Ansätze bezüglich Erklärbarkeit und somit Verbesserung der Validierung deutlich weiterentwickelt. Methoden zum Erklären von Machine-Learning-Algorithmen werden dabei auch unter dem Begriff XAI – ‚Explainable Artificial Intelligence‘ zusammengefasst.

Wichtig ist dabei, dass die Erklärbarkeit eines Modells nicht allein durch die Analyse der Ergebnisse hergestellt wird. So können Erklärbarkeit und Transparenz nur durch einen gesamthaften Blick auf den kompletten Modellierungsprozess maximiert werden. Wesentliche Komponenten sind daher:

• Transparenz der (Trainings-)Daten
• Wahl des Machine-Learning-Modells
• Analyse der Ergebnisdaten (sogenannte Post-hoc-Analysen)

Ein wichtiger Startpunkt bei der Erklärbarkeit ist, ein Verständnis der Trainingsdaten zu gewinnen, da diese das Lernergebnis maßgeblich beeinflussen. So ist zum Beispiel die Identifikation einzelner Ausreißer oder ein Bias in den Daten ein erster Ansatz, um die Güte des Ergebnisses einschätzen zu können.

Bei der Wahl des Modells ist grundsätzlich zwischen Genauigkeit und Erklärbarkeit abzuwägen, da mit steigender Genauigkeit des Modells im Allgemeinen die Möglichkeit, die Ergebnisse zu erklären, abnimmt. So weisen zum Beispiel künstliche neuronale Netze oder Random-Forest-Ansätze meist sehr gute Ergebnisse auf, sind aber deutlich schwerer zu erklären als beispielsweise Regressionsmodelle oder Decision Trees/Entscheidungsbäume.

Zunehmend werden Modelle so konstruiert, dass bei hoher Genauigkeit die Erklärbarkeit maximiert wird (z.B. Explainable Boosting Machines, Explainable Neuronal Networks). Da die Entwicklung in diesem Bereich erst am Anfang steht und in der klassischen Anwendung im Risikomanagement oft Methoden wie künstliche neuronale Netze oder Random-Forest-Ansätze verwendet werden, ist das Nutzen von sogenannten Post-hoc-Analysen ein weiterer Weg, um die Transparenz und Erklärbarkeit zu erhöhen.

Methoden für Post-hoc-Analysen sind in Abhängigkeit der spezifischen Fragestellung zu wählen

Bei Post-hoc-Analysen stehen zahlreiche Methoden zur Verfügung, die entweder spezifisch für den jeweiligen Machine-Learning-Ansatz oder sogar Modell-agnostisch sind. Modell-agnostische Methoden wie zum Beispiel SHAP (Lloyd Shapley – Amerikanischer Mathematiker, Nobelpreisgewinner), LIME (Local interpretable model-agnostic explanation), Anchors oder PDP/ICE (Partial Dependence Plot / Individual Conditional Expectation) sind dabei sehr wirksame und häufig verwendete Methoden. Wichtig bei der Wahl der Post-hoc-Analysemethode ist, dass diese in Abhängigkeit der jeweiligen zu beantwortenden Frage zu wählen ist.

SHAP als einer der am meisten verwendenden Ansätze, der auf einem spieltheoretischen Ansatz beruht, unterstützt zum Beispiel bei dem Verständnis, welchen Einfluss einzelne Merkmale der Trainings- bzw. Input-Daten bei der Schätzung einzelner Vorhersagen hat. Angewendet auf das Problem der Modellierung von Prepayment-Risiken entspricht dies zum Beispiel der Frage: Wie hoch ist der Einfluss von Eigenschaften der Kreditnehmer wie Gehalt, Alter oder Lage der Immobilie auf das ermittelte Prepayment-Risiko?

Ansätze wie PDP/ ICE zeigen hingegen, wie sich der Output des Modells bei Änderungen einzelner Merkmale oder Eigenschaften verändert und visualisieren diese. Wiederum angewendet auf die Modellierung von Prepayment-Risiken entspricht dies der Frage: Wie verändert sich die Prepayment-Geschwindigkeit bei Anstieg des Jahresgehalts?

Wichtig ist es daher, einen „Werkzeugkasten“ von verschiedenen Methoden zur Verfügung zu haben und diesen stetig weiterzuentwickeln. Denn bedenkt man, dass Ansätze wie LIME und SHAP erst seit 2016/2017 für die Zwecke der Erklärbarkeit von Machine Learning-Ansätzen verbreitet Anwendung finden, sind in Zukunft weitere Fortschritte bei den XAI-Methoden zu erwarten.

Bedeutung von XAI wird weiter zunehmen

Durch die steigenden regulatorischen Anforderungen und die immer weiter verbreitete Nutzung von Machine Learning wird die Fähigkeit, Ergebnisse von Machine Learning zu erklären und zu plausibilisieren, zudem weiter an Bedeutung zunehmen. Aus diesem Grund sind unter anderem folgende Aspekte bei der Einführung und Nutzung von Machine-Learning-Ansätzen empfehlenswert:

• Bereits bei der Einführung von Machine-Learning-Algorithmen ist die Berücksichtigung von XAI zu empfehlen
• Obligatorische Nutzung von XAI bei Testing und Validierung von Machine-Learning-Ansätzen
• Anwendern von Machine-Learning-Ansätzen in der Bank sollten XAI-Funktionen zur Verfügung gestellt werden, um bei Bedarf selbstständig Analysen von Ergebnissen durchführen zu können
• Aufbau eines Werkzeugkastens und, wenn möglich, eines eigenen Kompetenzzentrums für XAI-Methoden
• Sensibilisierung bezüglich der Bedeutung der Erklärbarkeit von Machine-Learning-Ansätzen