Keyfacts:

• Sogenannte multimodale Modelle können verschiedene Datentypen wie Ton oder Bildmaterial gleichzeitig verarbeiten – eine technische Revolution, die auch die Cybersicherheit betrifft.
• Die Technik führt zu neuen Sicherheitsrisiken, denn Angreifer können sie gezielt ausnutzen.
• Um sich vor Angriffen zu schützen, müssen Unternehmen neuartige Kontrollen und Mechanismen installieren.

Mit dem rasanten Fortschritt bei der Entwicklung der künstlichen Intelligenz (KI) gewinnen multimodale Modelle an Bedeutung. Sie sind in der Lage, verschiedene Datentypen wie Text, gesprochene Sprache oder Bilder gleichzeitig zu verarbeiten. Das bietet ein breites Spektrum an Anwendungsmöglichkeiten und große Vorteile für den Einsatz in Finanzunternehmen.

Die Technologie bringt aber auch neue Sicherheitsrisiken und Herausforderungen für die IT-Compliance mit sich. Angreifer können die komplexen Strukturen multimodaler Modelle ausnutzen, um schädliche Aktionen durchzuführen oder sensible Informationen zu kompromittieren. Daher sind mit ihrem Entstehen gezielte Sicherheitsmaßnahmen und ein verbessertes, nachhaltiges Risikomanagement notwendig. Sonst können Sicherheitslücken oder Ransomware-Angriffe die Folge sein.

Was sind multimodale Modelle?

Indem sie unterschiedliche Arten von Daten gleichzeitig analysieren, können multimodale Modelle, auch multimodale Sprachmodelle genannt, komplexe Aufgaben effizient lösen. Sie ermöglichen es beispielsweise, sprachliche Eingaben mit visuellen Daten zu verknüpfen, um kontextreichere und genauere Ergebnisse zu erzielen.

Ihre verbesserte Entscheidungsfindung bringt leistungsfähige Anwendungen hervor: Ob in der automatisierten Schadensregulierung oder im Kundenservice – multimodale KI-Systeme revolutionieren in der Finanzindustrie schon jetzt zahlreiche Einsatzfelder. Denn sie können die Effizienz steigern und die Nutzererfahrung verbessern.

Die Beispiele Schadensregulierung und Kundenservice

In der Versicherungsbranche werden multimodale Modelle zum Beispiel dafür eingesetzt, den Prozess der Schadensregulierung zu verbessern. Die Systeme können gleichzeitig schriftliche Fallbeschreibungen und Bilder von Schäden analysieren, um relevante Informationen zu extrahieren und eine erste Bewertung des Schadensumfangs vorzunehmen.

Durch die automatisierte Vorverarbeitung von Schadensfällen können Versicherer Bearbeitungszeiten verkürzen, Kosten senken und händische Arbeitszeit von Mitarbeitenden für andere Aufgaben freisetzen.

Im Kundenservice verbessern multimodale Systeme die Interaktion zwischen Kunden und Unternehmen erheblich. Sprachgesteuerte Assistenten (Chatbots) können eingehende Anrufe entgegennehmen, Kundenanliegen verstehen und über zusätzliche Agenten relevante Informationen abrufen sowie direkt am Telefon gewünschte Aktionen ausführen. Das Ergebnis: keine Wartezeiten, personalisierte Lösungen und insgesamt eine verbesserte Kundenerfahrung.

Neue Sicherheitsrisiken durch verbesserte Sprachverarbeitung

Die Sprachverarbeitung in multimodalen Modellen eröffnet also neue Möglichkeiten – sie birgt aber auch Sicherheitsrisiken. Angreifer können zum Beispiel versuchen, die Sprachschnittstellen dieser Systeme zu manipulieren, um unautorisierten Zugriff zu erlangen, im nächsten Schritt sensible Informationen zu stehlen oder das System zu unerwünschten Aktionen zu verleiten.

Eine häufige Angriffsmethode ist die sogenannte Obfuskation, bei der Sprachbefehle so verschleiert oder verändert werden, dass sie von Sicherheitsmechanismen nicht erkannt, aber vom KI-System korrekt interpretiert werden. Solche Angriffe nutzen Schwachstellen in der Spracherkennung und -interpretation aus und können schwer zu erkennen und zu verhindern sein.

KI-Stimmimitationen könnten Systeme täuschen

Nehmen wir das Beispiel Kundenservice: Ein Angreifer könnte schädliche Spracheingaben dahingehend obfuskieren, dass der KI-Agent vertrauliche Kundendaten preisgibt. Durch geschickte Formulierungen oder Stimmimitationen – wiederum unter Zuhilfenahme von KI – lässt sich das System möglicherweise täuschen und gibt Informationen heraus, die nur autorisierten Personen zugänglich sein sollten.

Oder ein Angreifer könnte Eingaben so verschleiern, dass das KI-System Zugriff auf eigentlich beschränkte Aktionen erhält. Dann würden Autorisierungsmechanismen umgangen werden. Folglich könnten Dienste deaktiviert, Daten manipuliert oder gestohlen werden.

Eine dritte Variante wäre eine Denial-of-Service-Attacke: Angreifer könnten das System mit einer Flut von manipulativen oder unsinnigen Sprachbefehlen überlasten, was legitime Kundenanfragen beeinträchtigt.

Sicherheitsrisiken in der Bildverarbeitung

Ebenso anfällig für Angriffe ist die Bildverarbeitungskomponente multimodaler Modelle. Angreifer könnten visuelle Daten manipulieren, um das System zu täuschen und falsche oder unerwünschte Ergebnisse zu erzielen.

Ein prominentes Beispiel dafür sind sogenannte adversariale Bilder. Sie sind gezielt so verändert, dass sie für das menschliche Auge normal erscheinen, aber von KI-Systemen falsch interpretiert werden. Die subtilen Veränderungen können somit dazu führen, dass das Modell irrtümliche Schlussfolgerungen zieht oder fehlerhafte Entscheidungen trifft.

Mögliche Folgen von Angriffen auf Bildkomponenten

Zum Beispiel bei der automatisierten Schadensregulierung können Angriffe auf die Bildkomponenten multimodaler Modelle schwerwiegende Folgen haben:

• Erschleichen unberechtigter Zahlungen: Angreifer könnten Fotos von geringfügigen Schäden so manipulieren, dass ein KI-Systeme sie als deutlich schwerwiegender einstuft. Dadurch können höhere Entschädigungszahlungen ausgelöst oder zumindest vorgeschlagen werden, wodurch mit fälschlicherweise überhöhten Auszahlungen – und damit finanziellen Verlusten für den Versicherer – zu rechnen wäre.

• Verharmlosung tatsächlicher Schäden: Um Verantwortlichkeiten zu verschleiern, könnten Bilder von ernsthaften Schäden so manipuliert werden, dass ein KI-System diese als weniger gravierend einstuft. Das könnte zu unklaren Haftungsverhältnissen und potenziell zu Auseinandersetzungen mit anderen Versicherern führen.

Halten wir fest: KI-Systeme können nicht zwischen guten und schlechten Eingaben differenzieren. Jede Eingabe wird gleichbehandelt. Das müssen Verantwortliche bei der Implementierung der Systeme bedenken und entsprechende Sicherheitsvorkehrungen treffen.

Verteidigungsstrategien gegen multimodale Angriffe

Angesichts der vielfältigen Sicherheitsrisiken in multimodalen Modellen ist die Implementierung robuster Verteidigungsstrategien unerlässlich. Zentral ist zum Beispiel eine kontinuierliche und umfassende Überwachung der Datenflüsse innerhalb des KI-Systems. Durch die Analyse und Überwachung aller eingehenden Datenströme können potenziell schädliche Eingaben frühzeitig erkannt und blockiert werden. Das umfasst sowohl sprachliche als auch visuelle Daten, die auf Anomalien oder bekannte Angriffsmuster überprüft werden sollten.

Besonders wichtig ist ebenso die Überwachung von ausgehenden Anfragen an Drittsysteme der KI-Anwendung. Hier können zum Beispiel unautorisierte Datenübertragungen oder ungewöhnliche Aktivitätsmuster auf einen laufenden Angriff hindeuten. Durch Echtzeit-Monitoring und automatisierte Alarmierungen können solche Aktivitäten schnell identifiziert und entsprechende Gegenmaßnahmen eingeleitet werden.

Der Einsatz von fortschrittlichen Algorithmen zum Erkennen von Anomalien ermöglicht es, unbekannte oder neuartige Angriffsversuche zu identifizieren, indem Abweichungen vom normalen Systemverhalten erkannt werden. Das erhöht die Reaktionsfähigkeit gegenüber bislang unbekannten Bedrohungen.

Vorausschauende Sicherheitsüberprüfungen

Neben der reaktiven Überwachung sollten auch proaktive Maßnahmen ergriffen werden, um potenziellen Bedrohungen zuvorzukommen.

1. Regelmäßige Sicherheitsaudits: Durch gesamtheitliche Überprüfung der KI-Systeme – einschließlich der verwendeten Sicherheitskomponenten – können Schwachstellen identifiziert und behoben werden, bevor diese von Angreifern ausgenutzt werden können.

2. Simulation von Angriffsszenarien: Das Durchführen von kontrollierten Angriffstests (AI Red Teaming) hilft dabei, die Widerstandsfähigkeit des Systems gegen verschiedene Angriffstypen zu beurteilen und entsprechende Schutzmaßnahmen zu verbessern.

3. Regelmäßiges automatisches Pentesting: Regelmäßige (voll-)automatisierte Penetrationstests (Pentests) helfen dabei, KI-Systeme über ihren Lebenszyklus hinweg zu überwachen und Veränderungen mit Sicherheitsauswirkung frühzeitig aufzudecken. Das gliedert sich nahtlos in Regressionstestprozesse ein.

Die Integration von Sicherheitsmechanismen direkt in den Datenverarbeitungsprozess bietet einen effektiven Schutz gegen verschiedene Angriffstypen.

• Klassifikationssysteme für Eingabedaten: Spezialisierte Klassifikatoren können eingesetzt werden, um eingehende Sprach- und Bilddaten auf ihre Echtheit und Unbedenklichkeit zu überprüfen. Diese Systeme nutzen maschinelles Lernen, um schädliche oder manipulierte Eingaben zu erkennen und zu blockieren, bevor sie vom Hauptmodell verarbeitet werden.

• Content-Filterung: Durch die Implementierung von Filtern, die bestimmte schädliche oder unerwünschte Inhalte identifizieren, kann verhindert werden, dass gefährliche Daten das System passieren. Das ist besonders im Kundenservice relevant, wo Sprach- und Textinhalte in Echtzeit verarbeitet werden müssen.

• Authentifizierungsmechanismen: Die Einführung von mehrstufigen Authentifizierungsprozessen stellt sicher, dass nur autorisierte Benutzer Zugang zum System erhalten. Insbesondere im Kontext des Berechtigungsmanagements ist besonderer Fokus auf die Autorisierungsarchitektur von KI-Systemen zu legen, da hier regelmäßig Dissonanz zwischen der Endanwenderidentität und der zur Autorisierung verwendeten – meist technischen – Identität herrscht.

Gegenmaßnahmen vor der Übernahme in den Produktivbetrieb implementieren

Die geschilderten Szenarien über den Einsatz von multimodalen KI-Modellen unterstreichen, wie vielfältig und ernsthaft die Bedrohungen sind. Effektive Schutzmaßnahmen sind daher unabdingbar, um die Zuverlässigkeit und Sicherheit von automatisierten Prozessen etwa in der Schadensregulierung oder im Kundenservice zu gewährleisten.

Dabei ist es unerlässlich, die spezifischen Risiken der einzelnen Modalitäten, insbesondere Bild- und Toneingaben, genau zu analysieren und entsprechende Gegenmaßnahmen zu implementieren. Das sollte unbedingt erfolgen, bevor Lösungen in den Produktivbetrieb überführt werden.

Unternehmen sollten jetzt handeln und ihre Sicherheitsinfrastrukturen so anpassen, dass sie den wachsenden Bedrohungen im Bereich der KI gerecht werden. In der Zusammenarbeit zwischen Entwicklern, Sicherheitsexperten und Anwendern lassen sich robuste und sichere KI-Systeme entwickeln, die den Anforderungen und Gefahren der modernen digitalen Welt gleichermaßen standhalten können.