Keyfacts:

• Mit ihrer KI-Verordnung (dem Artificial Intelligence Act, kurz AI Act) reguliert die EU künstliche Intelligenz (KI). Sie schafft Leitplanken und Rechtssicherheit für Anwendungen auch in der Finanzindustrie.
• Die zu treffenden Vorkehrungen sind umfangreich – Finanzunternehmen sind daher gut beraten, jetzt erste Standards und Templates zu entwickeln.
• Auch die IT-Systeme gehören auf den Prüfstand, um doppelten Aufwand zu vermeiden.

Die Entwicklung ist rasant, in den Augen mancher sogar zu rasant: Das zeigt das öffentlichkeitswirksame Beispiel ChatGPT. Die Datenbasis, auf der ChatGPT trainiert ist, vergrößerte sich von Version 3 zu 4 um ein Vielfaches. Dadurch liefert die KI-Anwendung immer bessere Ergebnisse. Und sie ist nur eine von vielen. Aus Wissenschaft und Industrie sind in der Folge erste Rufe nach einem Entwicklungsmoratorium für künstliche Intelligenz laut geworden – damit die Gesellschaft Schritt halten könne, sagen die Absender.

Große Erwartungen liegen daher auch auf der Politik. Die Europäische Union (EU) arbeitet an einem Regulierungsrahmen. Der EU Artificial Intelligence Act könnte schon 2023 in Kraft treten und weitreichende Auswirkungen für alle Wirtschaftsbereiche haben. Im Interview erläutern Benedikt Höck (KPMG) und Michael Rammensee (AI Quality & Testing Hub), wie Unternehmen der Finanzindustrie sich auf die Verordnung vorbereiten.

Frage: Wieso ist der AI Act von so großer Bedeutung für die Finanzindustrie?

Benedikt Höck: Weil künstliche Intelligenz absehbar vieles in den Unternehmen, vor allem in der Finanzindustrie, verändern wird – bei der Betrugs- und Geldwäschebekämpfung, im Risikomanagement oder bei der Marktbearbeitung.

Warum sage ich vor allem? Weil in Banken oder auch bei Asset Managern entlang der gesamten Wertschöpfungskette mit Daten gearbeitet wird. Sie klug zu sammeln, zu analysieren und für Wettbewerbsvorteile zu nutzen, wird immer entscheidender. Und ihr Einsatz ist einer der Königswege zu hoher Effizienz in operativen Abläufen. Überall, wo Prozesse digital ablaufen, kann KI bei der Automatisierung helfen, beschleunigen und die Kundenorientierung erhöhen.

Frage: Ganz konkret gesprochen, wie kann KI diese Ziele unterstützen?

Benedikt Höck: Die Automatisierung und Beschleunigung von Kreditwürdigkeitsprüfungen ist schon seit Jahren ein Thema in den Banken. Bei der Geldwäscheprävention können KI-Systeme unzählige Transaktionen in Echtzeit auf verdächtige Muster prüfen. Und Chatbots und die personalisierte Ansprache verbessern die digitale Kundenkommunikation.

Spätestens seit ChatGPT ist klar: KI kann auch dafür genutzt werden, um Wissensarbeit zu automatisieren oder Erkenntnisse aus Daten abzuleiten. Anwendungsmöglichkeiten bieten sich entlang der gesamten Wertschöpfungskette: Dazu gehören auch Investmententscheidungen, das Nachhaltigkeitsresearch oder künstliche Intelligenz in Rechnungswesen und Controlling. Oder denken wir an die automatisierte Verarbeitung von Verträgen und Kundendokumenten.

In der Versicherung etwa werden wir eine weitere Automatisierung der Schadensregulierung erleben: Schadensfälle lassen sich mit vorgegebenen Datenkategorien beschreiben – vor allem einfache Fälle können dann schnell und sicher automatisiert reguliert werden. Und weil die Unternehmen KI zunehmend adaptieren, rücken Qualitätserwägungen und Regulatorik jetzt ins Rampenlicht.

Das ist der EU AI Act

Der erste Entwurf einer KI-Verordnung der Europäischen Union reicht bis in den April 2021 zurück. In Kraft treten könnte der EU AI Act schon 2023, spätestens im Jahr 2025. Das Ziel sind EU-weite verbindliche, branchenübergreifende Regeln. Mit ihnen will die EU für Unternehmen Rechtssicherheit schaffen und den Weg ebnen für einen flächendeckenden Einsatz von KI entlang der gesamten Wertschöpfungskette in der Finanzindustrie.

Den Betriff künstliche Intelligenz legt der Entwurf weit aus: Im Wortlaut ist KI demnach „eine Software, die […] Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren.“ Dazu zählen insbesondere auch generative KI-Modelle wie ChatGPT.

Außerdem ordnet der Entwurf KI-Systeme drei Risikokategorien zu, die mit unterschiedlich hohen Auflagen belegt werden – bis hin zu kritischen Infrastrukturen und Personalsoftware. Perspektivisch werden also alle Unternehmen früher oder später unter den EU AI Act fallen.

Frage: Was also wird der EU AI Act konkret bringen – welche Vorgaben kommen auf Finanzinstitute zu, die KI einsetzen?

Michael Rammensee: Das übergeordnete Ziel lautet: Die Verordnung soll einen Rechtsrahmen für einen vertrauenswürdigen Einsatz von KI in der EU schaffen und die Entwicklung eines Binnenmarkts für rechtskonforme und sichere Anwendungen erleichtern.

Dabei kommen auch Aspekte zum Tragen, die aktuell im Rahmen der ESG-Diskussion besprochen werden: Transparenz, Vertrauenswürdigkeit und ethische Fairness. Unter dem Strich sollen Risiken und Nutzen durch eine angemessene Regulierung abgewogen werden. Ein Beispiel: Die Vertrauenswürdigkeit der neuen Technologie lässt sich etwa damit erhöhen, dass mit KI erstellte Inhalte gekennzeichnet werden.

Frage: Welche Risiken sieht die EU und welche Maßnahmen sieht sie vor?

Michael Rammensee: KI-Systeme werden je nach dem von ihnen ausgehenden Risiko in drei Kategorien eingeteilt: Die ersten, Systeme mit inakzeptablem Risiko, sind generell verboten. Zu dieser Kategorie gehören manipulative Systeme, Social-Scoring-Algorithmen (die wir etwa aus China kennen) und Echtzeit-Überwachungssysteme oder Gesichtserkennungen.

Systeme mit hohem Risiko, das ist Kategorie zwei, haben einen erheblichen Einfluss auf das Leben und die Existenzsicherung einer Person oder können deren Teilhabe an der Gesellschaft erschweren. Ein hohes Risiko liegt laut Verordnung vor, wenn Gesundheit, Sicherheit oder Grundrechte von EU-Bürgern gefährdet sind.

Hier eingeschlossen sind biometrische Systeme, der Betrieb kritischer Infrastrukturen und Personalsoftware, etwa für Bewerbungen. Ein typisches Beispiel aus der Finanzindustrie ist das Kreditscoring.

Drittens: Systeme mit geringem und minimalem Risiko müssen bestimmte Transparenzvorschriften erfüllen. Wenn beispielsweise ein KI-System mit Menschen interagiert, muss es den Nutzer darüber informieren, dass er mit einem KI-System interagiert. Auch bei Deep Fake-Videos etwa muss dann deutlich angegeben werden, dass der Inhalt künstlich erzeugt wurde.

Frage: Welchen Fahrplan empfehlt ihr Unternehmen für den EU AI Act?

Benedikt Höck: Rufen wir uns die vielen Anwendungsmöglichkeiten vom Anfang noch einmal in Erinnerung. Wir sehen: KI rückt immer mehr in den Mittelpunkt als Schlüsseltechnologie für das Finanzinstitut der Zukunft. Aber: Das Verschmelzen von Daten und Algorithmen führt auch zu neuen Herausforderungen.

Die EU formuliert im Entwurf ihrer Verordnung deshalb: Der AI Act soll Forschungs- und Industriekapazitäten stärken – aber gleichzeitig natürlich auch die Grundrechte gewährleisten. Für Unternehmen ist es daher besonders wichtig, auch aus Sicht von Qualität und Regulatorik gut aufgestellt zu sein.

Das Inkrafttreten wird voraussichtlich auch Auswirkungen auf bestehende Regulatorik haben. Außerdem: Mit der Vorbereitung auf ihre Vorgaben ist Verwaltungsaufwand verbunden, der frühzeitig identifiziert und fristgerecht umgesetzt werden sollte. Klar ist also: Der AI Act kommt und Unternehmen sollten jetzt damit beginnen, sich damit zu beschäftigen.

Ein Beispiel: Zahlreiche laufende IT-Systeme werden aller Voraussicht nach von den Anforderungen der KI-Verordnung betroffen sein und damit zusätzliche Anforderungen erfüllen müssen. Deshalb lohnt sich schon jetzt ein umfassender Blick auf die Systeme: Eine Gap-Analyse hilft dabei, doppelten Aufwand zu vermeiden. Sie liefert Ergebnisse darüber, welche Anforderungen neu hinzukommen und welche bereits durch DORA, das IT-Sicherheitsgesetz oder BAIT/KAIT abgedeckt sind.

Michael Rammensee: Bei der Umsetzung von KI-Lösungen werden Nachweismethoden und Standards für bestimmte Eigenschaften von KI-Systemen schnell an Bedeutung gewinnen – zum Beispiel Transparenz und Fairness. Digitale Wasserzeichen, die oft gefordert werden, können ein Weg sein, um echte, von Menschen gemachte Bilder oder Filme zu kennzeichnen – und so von KI-generierten Inhalten zu unterscheiden.

Teilweise müssen Kriterien und Nachweismöglichkeiten oder Standards aber auch noch entwickelt werden. Dazu sollten KI-Lösungen bereits heute inventarisiert und der passende Rahmen für einen Einsatz geschaffen werden, zum Beispiel über Konformitätserklärungen in Bezug auf bestimmte Standards.

Vielen Dank für das Gespräch.

Michael Rammensee ist Geschäftsführer des AI Quality & Testing Hub mit Sitz in Frankfurt am Main. Die Initiative des Landes Hessen und des VDE (Verband der Elektrotechnik, Elektronik Informationstechnik e. V.) hat es sich zum Ziel gesetzt, die Qualität von KI-Systemen zu fördern und nachweisbar zu machen. Unternehmen haben im Hub die Möglichkeit, Qualitätseigenschaften von KI-Systemen nachzuweisen und zu verbessern. Auf diese Weise können sie Vertrauen in ihr Angebot aufbauen und EU-konforme Anwendungen entwickeln.

Foto: Michael Rammensee, AI Quality & Testing Hub GmbH, 2023.