Was sich bereits seit längerem abzeichnete, ist mit dem durch die Europäische Kommission am 21. April 2021 veröffentlichten „Vorschlag für eine Verordnung über ein europäisches Konzept für Künstliche Intelligenz“ nun Realität: Die Schaffung eines bindenden Rechtsrahmens für künstliche Intelligenz (KI).

Einordnung und Hintergründe

Der nun veröffentlichte Gesetzentwurf baut auf dem im Februar 2020 veröffentlichten und im Rahmen eines nachgelagerten Konsultationsverfahrens weiterentwickelten „Weißbuch Künstliche Intelligenz“ der Kommission auf. Bereits im Weißbuch wurden erste Maßnahmen zum Aufbau eines Exzellenz-Ökosystems für KI und Ideen für einen regulatorischen Rahmen für KI vorgestellt, welche nun weiter konkretisiert wurden.

Mit dieser Initiative steht die Europäische Kommission bei weitem nicht alleine da. Denn auch in Deutschland sind klare Bestrebungen zur Förderung von KI und zur gleichzeitigen Schaffung eines Rahmens für den harmonisierten, geregelten Einsatz von KI erkennbar – und vielfach bereits umgesetzt. So hat die Bundesregierung eine KI-Strategie definiert, welche im Dezember 2020 aktualisiert wurde und eine Reihe von Maßnahmen zur Förderung von KI in Deutschland beinhaltet. Eine vom Bundeswirtschaftsministerium, dem Deutschen Institut für Normung (DIN) und weiteren Fachexperten entwickelte Normungsroadmap liefert einen Überblick über Anforderungen und Herausforderungen sowie Normungs- und Standardisierungsbedarfe zu verschiedenen Schwerpunktthemen rund um künstliche Intelligenz. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat Anfang des Jahres einen Kriterienkatalog aufgestellt, welcher zur Beurteilung der Compliance von auf KI basierenden Cloud-Diensten herangezogen werden kann.

Diese längst nicht vollständige Auflistung von Rahmenwerken und Leitlinien verdeutlicht, wie sehr das institutionelle Interesse insbesondere in den letzten beiden Jahren gestiegen ist. All diese Publikationen eint das Ziel, einen Rahmen bzw. eine Orientierungshilfe für den ethischen, sicheren und/oder nachvollziehbaren Einsatz von KI zu schaffen. Der bedeutende Unterschied zum vorliegenden Gesetzentwurf: Sie waren und sind nicht verpflichtend anzuwenden.

Das plant die Kommission

Mit dem Ziel einen einheitlichen Ordnungsrahmen und rechtliche Anforderungen festzulegen, plant die EU nun die europaweite rechtliche Regulierung aller KI-Systeme, die in direktem Bezug zur Nutzung künstlicher Intelligenz stehen. Definitionsgemäß betrifft dies alle Systeme, welche durch Verfahren und Techniken basierend auf:

• Machine Learning (z.B. Supervised Learning, Deep Learning),
• Logik- und wissensbasierten Ansätzen (z.B. Knowledge Bases, Expert Systems) oder
• Statistischen Methoden (z.B. Bayesian Estimation) entwickelt werden.

Zwar werden im Gesetzentwurf auch Verbote ausgesprochen, dies betrifft von vorne- herein allerdings nur wenige Anwendungsfälle bzw. KI-Systeme. Zum Schutz von menschlichen Grundrechten sollen vor allem jene KI-Systeme, welche menschliches Verhalten manipulieren, auf die Ausnutzung menschlicher Schwächen abzielen oder „Social Scoring“ beinhalten, verboten werden. Insgesamt spielt das Verbot einzelner KI-Systeme bzw. Anwendungsfälle nur eine untergeordnete Rolle. Vielmehr fokussiert sich der Gesetzentwurf der Kommission auf einen risikoorientierten Regulierungsansatz.

Das Risikopotenzial von KI-Systemen als zentrales Unterscheidungsmerkmal

So werden zwei Klassen von KI-Systemen unterschieden: KI-Systeme, welche als Hochrisiko-KI-Systeme einzustufen sind („high-risk AI systems“) und jene, die nicht in diese Kategorie fallen („AI systems other than high-risk AI systems“).

Vor allem die Hochrisiko-Systeme sollen strenger reguliert werden. Eine erste Aufstellung, welche KI-Systeme unter diese Definition fallen, ist im Entwurf bereits enthalten. Darin inkludiert sind beispielsweise KI-Systeme, die zur Beurteilung der Kreditwürdigkeit oder in Recruitment-, Beförderungs- oder Kündigungsprozessen zum Einsatz kommen.

Die Risikoklassifizierung soll jedoch immer vor dem Hintergrund des vorgesehenen Anwendungsfalls, einschließlich des spezifischen Kontexts und der Nutzungsbestimmungen getroffen werden. Bestimmen lässt sie sich, indem für das KI-System geprüft wird, ob es bestimmte Schäden verursachen kann und, falls dies der Fall ist, das Schadenspotenzial anhand der Schwere des möglichen Schadens und der Wahrscheinlichkeit des Auftretens ermittelt wird. Für die Ermittlung des Schadenspotenzials sind im vorliegenden Entwurf verpflichtend anzuwendende Basiskriterien und – je nach Anwendbarkeit – optionale Zusatzkriterien vorgegeben.

Welche Anforderungen für Hochrisiko-Systeme gelten sollen

Um auf den Markt gebracht bzw. in Betrieb genommen werden zu dürfen, müssen Hochrisiko-Systeme eine Reihe von Anforderungen erfüllen. Die wesentlichen Anforderungen, Kriterien und Vorgaben für die Entwicklung, Bereitstellung und die Nutzung von Hochrisiko-KI-Systemen sind im Folgenden zusammengefasst:

• Hohe Datenqualität: Dabei ist insbesondere sicherzustellen, dass die Dateien keine Vorurteile/Verzerrung beinhalten, welche zu unerwünschten, diskriminierenden Ergebnissen führen oder aber, dass derartige Ergebnisse durch vorhersehbaren Missbrauch herbeigeführt werden könnten. Für diese Anforderung sind weitere Maßnahmen und Vorgaben für die Nutzung, Verarbeitung und Bewertung von Test- und Trainingsdaten konkretisiert.
• Dokumentation und Bestandsführung: Diese muss die Nachvollziehbarkeit und Rückverfolgbarkeit von System-Outputs über den gesamten Lebenszyklus ermöglichen. Hierfür werden unter anderem eine Protokollierung und technische Dokumentation des KI-Systems vorausgesetzt.
• Transparenz über Funktionsweise, Leistungsfähigkeit, Risiken und Kontrollen des KI-Systems. Hierfür sind unter anderem geeignete Fachdokumentationen und Betriebsanleitungen anzufertigen.
• Menschliche Aufsicht: Hochrisiko-KI-Systeme sollen so konzipiert, dokumentiert und implementiert werden, dass menschliche Kontrolle im Sinne von Überwachung und Intervention möglich ist.
• Hohe Leistungsfähigkeit des KI-Systems hinsichtlich:
  • Präzision (dem Verwendungszweck und der Dokumentation entsprechend)
  • Robustheit (geringe Fehleranfälligkeit durch hohe Resilienz gegenüber äußeren Einflussfaktoren wie Menschen und Systemen) und
  • Sicherheit (hohe Resilienz gegenüber Cyber-Attacken, welche durch technische Lösungen sicherzustellen ist).

Diese Verantwortlichkeiten entfallen auf Anbieter und Nutzer der KI-Systeme

Für die Sicherstellung und die Nachweispflicht zu den oben beschriebenen Anforderungen an Qualität, Ausgestaltung und Dokumentation der KI-Systeme sind die Anbieter der KI-Systeme verantwortlich. Bei Einbeziehung Dritter in die KI-Wertschöpfungskette sind für diese entsprechende Verpflichtungen festzulegen und nachzuhalten. Zur Gewährleistung der Compliance im Hinblick auf die oben zusammengefassten Anforderungen und Verpflichtungen sollen Anbieter ein Qualitätsmanagementsystem etablieren. Im Gegenzug sind Nutzer dafür verantwortlich, dass KI-Systeme entsprechend den durch den Anbieter definierten Vorgaben und Instruktionen genutzt und überwacht werden.

Bevor ein Hochrisiko-System auf den Markt gebracht bzw. in Betrieb genommen werden darf, muss im Rahmen einer Konformitätsbewertung („conformity assessment) durch den Anbieter oder einen sachverständigen Dritten der Nachweis über die Erfüllung aller relevanten Anforderungen erbracht werden. Bei wesentlichen Änderungen am KI-System oder beim Einsatz von fortlaufend lernenden Systemen sind diese zu wiederholen.

Hochrisiko-Systeme, welche die oben beschriebenen Anforderungen nachweislich erfüllen, erhalten eine Zertifizierung und werden in einer zentralen Datenbank registriert, welche durch die Kommission verwaltet wird. Darüber hinaus sollen zentrale Vorgaben und Meldewege geschaffen werden, damit auch nach der Inbetriebnahme bei auftretenden Systemstörungen oder Unterbrechungen Meldung entsprechend den vorgegebenen Fristen erstattet werden kann.

Auch weniger risikobehaftete KI-Systeme sollten gesteuert werden

Zwar sind die oben beschriebenen Anforderungen nur für Hochrisiko-KI-Systeme verpflichtend umzusetzen, dennoch befürwortet die Kommission, diese Anforderungen auch für weniger risikobehaftete KI-Systeme – wenngleich auf freiwilliger Basis – umzusetzen, um das Vertrauen in die Technologie zu fördern.

Hierfür angedacht sind Verhaltenskodexe (Code of Conducts), welche für ein oder mehrere KI-Systeme gelten und auch nachweisbare technische Spezifikationen beinhalten sollen. Auch kann eine freiwillige Verpflichtung zur Erfüllung zusätzlicher Anforderungen vorgesehen werden, zum Beispiel in Bezug auf ökologische Nachhaltigkeit oder weitere definierte Wertegrundsätze.

Dass solche freiwilligen Formen der Regulierung bereits durchaus Anklang finden, verdeutlicht das Beispiel des niederländischen Versicherungsverbandes „Verbond van Verzekeraars“, in welchem die Mitglieder – führende nationale und internationale Versicherungen – ein gemeinsames Rahmenwerk für den ethischen Einsatz von KI und damit einhergehende Standards und Kontrollen definiert haben, zu deren Einhaltung sich die Mitglieder freiwillig verpflichtet haben.

Welche Folgen hat die Regulierung für die Weiterentwicklung von KI?

Insbesondere in der Deutschen Wirtschaft waren und sind Bedenken spürbar, dass Anwendung und Weiterentwicklung dieser Technologie durch ein derartiges Regulierungsvorhaben enorm ausgebremst werden. Es sollte jedoch beachtet werden, dass eine Regulierung nicht grundsätzlich nachteilig sein muss, sondern auch dabei helfen kann, gesellschaftliche Akzeptanz und somit Vertrauen und Nachfrage in die Technologie zu fördern. Zudem kann so ein Rechtsrahmen geschaffen werden, der Rechtsunsicherheit beseitigt und verhindert, dass Unternehmen aus Sorge vor etwaigen Verstößen und Reputationsschäden den Ausbau von KI nur zögerlich oder gar nicht vorantreiben.

Der risikoorientierte Ansatz sowie die Tatsache, dass der Gesetzentwurf nicht nur Maßnahmen zur Regulierung, sondern auch Fördermaßnahmen, wie etwa die gezielte Unterstützung von Start-ups oder den Aufbau von digitalen Hubs, Test- und Entwicklungseinrichtungen enthält, lassen die zwischenzeitliche Schlussfolgerung zu, dass es der EU nicht darum geht, künstliche Intelligenz grundlos zu verbieten bzw. in Ketten zu legen.

Das sollten Unternehmen jetzt tun

Doch ruft der Gesetzentwurf eines wieder deutlich hervor: Der Umgang mit KI beinhaltet spezifische Risiken, die es zu kennen und zu kontrollieren gilt. Die bekannten Negativbeispiele aus der Praxis, wie zum Beispiel der Fall von Diskriminierung in einem KI-basierten Bewerbungsverfahren, zeigen, dass die Sorgen der EU nicht unbegründet sind.

Denn abseits jedweder regulatorischen Vorgaben oder Empfehlungen wird langfristig erfolgreich nur sein, wer die Risiken im Umgang mit KI kennt, steuert und KI nicht als Summe unabhängiger Einzelmaßnahmen begreift. Denn KI und die damit verbundenen Risiken wirken sich auf alle Unternehmensbereiche und den gesamten KI-Lebenszyklus aus – also müssen sie auch ganzheitlich gesteuert werden.

Ein solcher ganzheitlicher Steuerungsansatz sorgt nicht nur dafür, dass Unternehmen bereits jetzt einen großen Teil der zukünftig verpflichtenden regulatorischen Anforderungen der EU erfüllen können und hierdurch Vertrauen in die eigenen KI-Lösungen schaffen, sondern hilft den Unternehmen auch dabei, den Reifegrad ihrer KI-Organisation zu erhöhen und so die Industrialisierung von KI im Unternehmen zu beschleunigen. Gerade der Aspekt der Industrialisierung beschäftigt derzeit noch viele Unternehmen. Daher sollten sich Unternehmen nun intensiver damit auseinandersetzen, wie eine ganzheitliche Governance für KI im Unternehmen aufgebaut werden kann. Wie dies gelingen kann und was dabei zu beachten ist, haben wir in diesem Artikel bereits näher beleuchtet.

Ausblick und Zusammenfassung

Der vorliegende Gesetzesvorschlag der Kommission wird nun das ordentliche Gesetzgebungsverfahren („ordinary legislative procedure“) der EU durchlaufen, in welchem darüber zunächst auf Ebene des Parlaments und weiterer Ausschüsse, dann im Europäischen Rat beraten, verhandelt und abgestimmt wird. Dieses Verfahren nimmt erfahrungsgemäß einige Zeit in Anspruch und kann auch mit größeren Änderungen am Gesetzesvorschlag bis zu dessen Zurückweisung einhergehen. Nachdem eine Einigung erreicht ist, werden die enthaltenen Vorgaben des finalen Gesetzentwurfs in Industriestandards übersetzt, deren Einhaltung dann auf nationaler Länderebene geprüft wird. Es ist daher davon auszugehen, dass es noch eine ganze Weile dauern wird, bis die rechtlichen Vorgaben und abgeleiteten Industriestandards in rechtskräftiger Form vorliegen werden.

Dies sollte Unternehmen jedoch nicht davon abhalten, die Entwicklung und Industrialisierung von KI im Unternehmen weiter voranzutreiben.