Hinzu kommt: Entscheidungen werden zunehmend (teil-)autonom durch KI getroffen. Aber die Kontrolle darüber, wie zuverlässig diese Entscheidungen sind, bleibt oft diffus. Und solange ich als Organisation nicht klar sagen kann, was ein Fehler durch KI kostet oder wie ein Modell im Grenzfall reagiert, ist Vertrauen in ihre Nutzung kaum möglich.

Das zeigen auch unsere Analysen, zum Beispiel im „KPMG Future Readiness Monitor“ für Banken: Nur etwa 3 von 10 Instituten fühlen sich heute gut gerüstet, KI wirklich zur Innovation oder zur Automatisierung einzusetzen. Unser Fazit aus zahlreichen Projekten lautet daher: Viele Unternehmen haben keinen Mangel an Ideen – aber es fehlt an klaren Strukturen, um aus Prototypen skalierbare, sichere Lösungen zu machen. Genau dort setzen Methoden und Frameworks von KPMG an.

Frage: Warum ist Sicherheit bei KI-Systemen nicht nur ein Compliance-Thema, sondern betriebswirtschaftlich entscheidend?

Markus Hupfauer: Die eigentliche Revolution liegt nicht in der KI selbst – sondern darin, dass wir ihre Entscheidungen zunehmend ernst nehmen. Wenn ein KI-System zum Beispiel automatisch Schäden reguliert, Kreditkonditionen vorschlägt oder Transaktionen freigibt, dann hat es faktisch operative Macht. Und das heißt: Jede Fehlentscheidung hat einen realen Preis.

Deshalb reicht es nicht, nur ethische oder regulatorische Fragen zu klären – Unternehmen brauchen dringend ein Risikobewusstsein für die Zuverlässigkeit ihrer KI. Also: Wie konsistent entscheidet das System? Wie robust ist es gegen Manipulation, etwa durch Prompt Injection, wobei Angreifer gezielt Eingabeaufforderungen (Prompts) von Sprachmodellen angreifen, um Geschäftsprozesslogiken zu unterwandern? Welche Fehlerquoten sind tolerabel? Und: Wie messe ich all das?

Was wir oft sehen: Während klassische IT-Systeme längst durch Penetrationstests, Patch-Management oder Firewalls abgesichert sind, fehlen für KI-Modelle vergleichbare Verfahren. Logging, Monitoring, Fehlertoleranz – all das muss für KI neu gedacht werden.

Frage: Der Erfolg der KI-Implementierung hängt entscheidend vom Know-how der Belegschaft ab. Was beobachtest Du da?

Markus Hupfauer: Ich erlebe es in fast allen Projekten: Die Technik ist oft gar nicht das größte Hindernis, sondern das fehlende Know-how im Umgang mit ihr. Und damit meine ich nicht nur Prompt Engineering oder Kenntnisse von Programmiersprachen wie Python. Es geht um ein viel tieferes Verständnis von Rollen, Verantwortung und Risiko im KI-Kontext.

Unsere KPMG-Studien zeigen deutlich: Mehr als 80 Prozent der befragten Verantwortlichen in Banken sind davon überzeugt, dass Rollenanpassungen und umfangreiche Schulungen nötig sind. Aber nur 23 Prozent haben bislang konkrete Maßnahmen zur Mitarbeitenden-Entwicklung gestartet. Das Delta ist riesig.

Besonders kritisch: In vielen Häusern fehlt eine klare Vorstellung davon, wer in Zukunft eigentlich was entscheidet. Wer trägt Verantwortung, wenn ein Modell eine Entscheidung trifft? Wer prüft die Qualität der Outputs? Diese Fragen sind in den wenigsten Organisationen wirklich geklärt, und sie lassen sich auch nicht allein durch Schulungen beantworten.

Gleichzeitig sagen rund 70 Prozent der Befragten, dass Mitarbeitenden-Zufriedenheit und Innovationskraft zu den wichtigsten Kennziffern ihrer KI-Strategie zählen. Aber: Nur etwa die Hälfte sieht sich dabei aktuell gut aufgestellt. In Versicherungen zeigt sich ein sehr ähnliches Bild.

Was jetzt nötig ist: Unternehmen müssen gezielt Rollenmodelle entwickeln und die klassische Linienfunktionen mit KI-Expertise verzahnen. Das beginnt bei einer KI-gerechten Anpassung bestehender Aufgabenprofile und reicht bis zu neuen Rollen wie einem AI Risk Officer, dem Prompt Architect oder dem KI-Produktmanager.

Wir arbeiten in unseren Projekten deshalb nicht nur an Technologie und Governance, sondern auch an Befähigungskonzepten, die wirklich zur Organisation passen. Lernen wird dabei nicht als Einmalmaßnahme verstanden, sondern als Bestandteil eines dynamischen KI-Reifeprozesses.