Wenn der Algorithmus angreift: KI als Herausforderung für die IT-Compliance

Keyfacts:

• Der Einsatz von künstlicher Intelligenz (KI) in Finanzunternehmen nimmt stetig zu – Kontrollmechanismen müssen Schritt halten.
• Durch Mängel in der Governance können IT-Sicherheitsrisiken entstehen, ohne entdeckt zu werden.
• Notwendig sind passgenaue Richtlinien und Standards und eine stetige Überwachung der KI-Systeme.

Neuere KI-Systeme sind mit deutlich mehr Datenparametern trainiert als frühere Generationen. Deshalb sind sie in der Lage, professionelle Texte, Bilder und auch Code zu erzeugen – und öffnen mit ihrer Leistungsstärke die Tür zu zahlreichen neuen Anwendungen im Unternehmen.

Als Ziel von Angreifern dagegen können sie aus demselben Grund zu neuen Bedrohungen für die IT-Sicherheit werden. Die möglichen Szenarien reichen von fehlinterpretierten Ausgaben über selbstlernende Algorithmen mit nicht nachvollziehbaren Entscheidungsprozessen bis hin zur Manipulation von KI-Systemen. Auch die unsichere Anbindung von KI an andere Anwendungen und Systeme gehört zu den möglichen Einfallstoren für Kriminelle.

Risikobeherrschung durch KI-Governance: Im Einklang mit der Regulatorik

Eine Schlüsselrolle kommt daher der Governance zu. Die Vorgaben aus BAIT, VAIT, MaRisk und DORA sind, neben dem EU AI Act, auch auf den Einsatz von KI-Systemen anzuwenden, um Kontrollmechanismen sowie Transparenz im Umgang mit KI umsetzen zu können. Wird das versäumt, kann das dazu führen, dass KI-Systeme Entscheidungen treffen oder Ausgaben generieren, die finanzielle Risiken bergen oder zu nicht konformen Vorgängen führen.

Das wiederum kann erhebliche regulatorische Sanktionen nach sich ziehen und das Vertrauen von Kunden und Partnern in das Unternehmen nachhaltig schädigen. KI-Systeme müssen daher regelmäßig überprüft und getestet werden.

So stellen IT-Verantwortliche sicher, dass sie korrekt funktionieren und keine kritischen Sicherheitslücken aufweisen. Gewährleistet sein muss auch eine fortlaufende Überwachung aller KI-Aktivitäten, damit auffälliges Verhalten möglichst in Echtzeit erkannt und Gegenmaßnahmen eingeleitet werden können.

Anforderungen an ein KI-Sicherheitsframework

Laut Artikel 2.1 der VAIT müssen Organisationen ihre IT-Richtlinien aktiv anpassen, sobald es ‚wesentliche Änderungen‘ in ihren Abläufen und Prozessen gibt. Da KI-Technologien grundlegende Änderungen in Betriebsabläufen, Entscheidungsfindungen, Datenmanagement und sogar in den Rollenverteilungen innerhalb von Organisationen mit sich bringen, sind diese Veränderungen als ‚wesentlich‘ zu betrachten.

Finanzunternehmen sind also gefordert, die bestehenden Vorschriften zu überarbeiten oder neue, auf KI spezialisierte Richtlinien zu erstellen. Diese neuen Richtlinien sollen dabei helfen, die Veränderungen zu steuern, die Besonderheiten der KI effektiv zu managen und sowohl die Einhaltung regulatorischer Vorgaben zu gewährleisten als auch die Cybersicherheit der Organisation zu stärken.

Auch in dem Fall, dass KI lediglich als Dienstleistung (AI as a Service) im Unternehmen genutzt wird, besteht gemäß VAIT und BAIT die Notwendigkeit zur Kontrolle und Steuerung dieser neuartigen Auslagerung. Die Verwendung von KI-Diensten von Drittanbietern, beispielsweise von OpenAI oder Azure OpenAI Services, erfordert eine umsichtige Risikobewertung und entsprechende Governance-Strukturen.

Richtlinien erfassen auch den externen KI-Einsatz und cloudbasierte Services

Die BAIT-Regelung in Artikel 9.1 schreibt vor, dass das Outsourcing von IT-Diensten, einschließlich cloudbasierter Services, den Anforderungen nach AT 9 der MaRisk entsprechen muss, was eine sorgfältige Überprüfung und Steuerung der mit externen KI-Services verbundenen Risiken impliziert.

Daher müssen Führungskräfte in den Bereichen IT und Informationssicherheit sicherstellen, dass alle Aspekte des externen KI-Service-Einsatzes – von der Datenverarbeitung bis hin zur dynamischen Ressourcennutzung – durch klare Richtlinien abgedeckt und gesteuert werden. Diese Richtlinien sind entscheidend für die Aufrechterhaltung der Compliance, die Sicherung der Betriebskontinuität und den effizienten Einsatz von KI-Technologien.

Organisationen müssen folglich ihre bestehenden Richtlinien anpassen oder neue Richtlinien schaffen, um diesen Änderungen gerecht zu werden und die Verantwortung und den strategischen Einsatz von KI gewährleisten zu können. KI stellt neue Anforderungen an die IT-Governance und erfordert ein spezialisiertes Policies-Management, um ihre Potenziale voll auszuschöpfen und rechtliche sowie operationale Risiken effektiv zu steuern.

Neue Risiken durch KI

Zusätzlich zu den bereits bekannten Risiken, die der Einsatz von IT-Systemen mit sich bringt, zeichnen sich neue Gefahren ab – solche, die spezifisch mit der Art und Weise zusammenhängen, wie KI arbeitet. Das möchten wir an den folgenden drei Beispielen veranschaulichen:

Manipulation von codegenerierenden Großsprachenmodellen (LLMs):

Angreifer sind in der Lage, KI-Modelle zur Code-Erstellung so zu manipulieren, dass sie absichtlich Schwachstellen erzeugen. Entwickler, welche eine solche KI zur Code-Erstellung nutzen und sich dieser Gefahr nicht bewusst sind, übernehmen möglicherweise den fehlerhaften Code direkt in ihre Projekte. Dadurch entstehen ungewollt Sicherheitslücken, die genau den Vorstellungen des Angreifers entsprechen und von diesem gezielt ausgenutzt werden können.

Risiken beim Abrufen von Daten durch Retrieval-Augmented Generation (RAG):

KI-Systeme, die auf unüberwachte oder unsachgemäß gepflegte Datenbanken sowie Daten aus dem Internet zugreifen, sind anfällig für Manipulationen durch Angreifer. Diese könnten schädliche Befehle in die Daten einfügen, um die Ergebnisse der KI schadhaft zu beeinflussen. So ist vorstellbar, dass ein Angreifer ein Dokument speziell präpariert, sodass dieses für einen gegebenen Sachverhalt relevant wirkt und in die Antwort-Generierung mit einbezogen wird.

Können so explizit falsche Informationen in das System eingeschleust werden, wird die KI-Lösung diese tatsächlich falschen Informationen als Fakt wiedergeben. Je nach Anwendung können so Entscheidungsprozesse maßgeblich beeinflusst werden und schwerwiegende Schäden hervorgerufen werden.

Unsichere Integration von Drittsystemen:

Neben den RAG-Anwendungen, die auf Anfragen von Nutzern reagieren, indem sie Daten abrufen, interpretieren und antworten, gibt es einen Trend, die KI-Systeme mit weiteren Anwendungen zu verknüpfen. Das bietet viele Vorteile, birgt aber auch Risiken. Vor allem die Verbindung von KI-Systemen, deren Sicherheit nicht vollständig geprüft werden kann, mit Kernsystemen kann von Angreifern ausgenutzt werden.

Diese können Integrität, Vertraulichkeit und Verfügbarkeit besonders sensibler Informationen gefährden. Eine umsichtige Governance und ein tiefgreifendes Verständnis der Funktionsweise von KI-Systemen durch individuelles Threat Modeling sind essenziell, um diese neuen KI-spezifischen Risiken zu kontrollieren und die Finanzunternehmen vor ihnen zu schützen.

KI-Regulierung – wichtiger Bestandteil einer umfassenden Cyber-Resilienz

Eine ganzheitliche Strategie zur Regulierung des internen KI-Einsatzes ist also ein wichtiger Bestandteil der Cyber-Resilienz von Finanzunternehmen. Es gilt, sowohl die technologischen Chancen zu nutzen als auch die Sicherheit und Stabilität der Systeme zu gewährleisten.

Der verantwortungsbewusste Einsatz von KI in der Finanzbranche erfordert somit ein ausgewogenes Maß an Restriktion und Innovation gleichermaßen. Nur durch eine adäquate Regulierung und den Aufbau von Cyber-Resilienz kann der Sicherheitsanspruch im Einklang mit dem technologischen Fortschritt stehen.

Die Finanzwelt steht vor der Herausforderung, diese Balance zu finden und auch internationale Standards und Entwicklungen zu berücksichtigen, um im Bereich IT-Sicherheit zukunftssicher zu bleiben.