AI Act: Die KI-Verordnung der EU erklärt
Die die KI-Verordnung der Europäischen Union (KI-VO oder AI Act) ist die erste gesetzliche Regulierung auf EU-Ebene. Sie ist am 12. Juli 2024 im Amtsblatt der EU veröffentlicht worden und am 1. August 2024 in Kraft getreten.
Ähnlich wie schon die Datenschutzgrundverordnung (DSGVO) hat auch die Künstliche Intelligenz-Verordnung (KI-VO) einen sehr weiten Anwendungsbereich. Um zu prüfen, ob die gesetzlichen Regelungen beachtet werden müssen, sind drei Fragen zu klären:
- Geht es um eine Künstliche Intelligenz im Sinne der KI-Verordnung?
- Bin ich ein Akteur im Sinne der KI-Verordnung?
- In welche Risikoklasse wird meine KI eingeordnet?
Info
AI Act der EU sieht Übergangsfristen vor
Das Inkrafttreten des AI Acts zum 1. August 2024 bedeutet nicht, dass die Richtlinie auch schon direkt seit diesem Zeitpunkt anzuwenden ist. Sie enthält verschiedene Übergangsfristen (Art. 113 KI-VO). Die folgenden Zeitpunkte der Anwendbarkeit gelten:
- 2. Februar 2025: Geltung der Vorschriften über verbotene KI-Systeme (Beendigung der Nutzung solcher Systeme)
- 2. August 2026: Geltung der übrigen Vorgaben der KI-VO (z. B. der Transparenzpflichten)
- 2. August 2027: Geltung der Pflichten in Bezug auf Hochrisiko-KI-Systeme.
Es ist äußert sinnvoll und ratsam, sich bereits jetzt mit den Vorgaben der KI-VO zu beschäftigten.
AI Act: Was ist die Definition von KI nach der KI-Verordnung?
Wer beispielsweise ein mit dem Werbeaufdruck „KI“ versehenes Produkt einsetzt, der fällt nicht automatisch unter die Regelungen des AI Acts. Denn nach Art. 3 Nr. 1 des KI-Gesetzes in der EU ist dies erst dann der Fall, wenn das betreffende Produkt insbesondere folgende Kriterien erfüllt:
- „maschinengestützt“: Wenn es auf einer Maschine, wie insbesondere einem Computer, ausgeführt wird
- „autonom“: Wenn es bis zu einem gewissen Grad unabhängig von menschlichem Eingreifen handelt.
- „anpassungsfähig“: Wenn es z. B. Lern-, Schlussfolgerungs- und Modellierungsprozesse durchführen kann.
- „ableiten“: Wenn es eigenständige Schlüsse aus Daten bzw. Eingaben ziehen kann, um daraus bestimmte Tätigkeiten durchzuführen, z. B. Vorhersagen, Entscheidungen, Empfehlungen.
- „Umgebung beeinflussen“: Wenn es mit seinen Entscheidungen direkte Einflüsse auf die reale oder die virtuelle Umgebung bewirkt, z. B. Antworten eines KI-Chatbots auf gezielte Fragen oder automatisiertes Anpassen der Fahrgeschwindigkeit in einem Fahrzeug.
Zudem muss eine „KI“ im Sinne des AI Acts von einfacheren, herkömmlichen Softwaresystemen und Programmierungsansätzen abgegrenzt werden und sollte sich nicht auf Systeme beziehen, die auf Regeln für das automatische Ausführen von Operationen beruhen, die ausschließlich von natürlichen Personen definiert haben. Der AI Act erfasst daher keine rein regelbasierten Computerprogramme, bei denen sich die Ergebnisse vorhersagen lassen. Denn generative KI, wie ChatGPT & Co., sind sog. Blackboxen. Deren Ergebnis können nur bis zu einem gewissen Grad beeinflusst und daher nicht exakt vorhergesagt werden.
Wer wird vom AI Act erfasst?
Der AI Act nennt verschiedene Akteure, die die gesetzlichen Anforderungen einhalten müssen. Dazu zählen insbesondere die folgenden:
- „Anbieter“ (Art. 3 Nr. 3 AI Acts): Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt
- und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt
- oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt,
- sei es entgeltlich oder unentgeltlich.
Man könnte den Anbieter also auch als Hersteller bezeichnen (z. B. OpenAI, Google, Meta, Anthropic). Aber Achtung: Wer eine „KI-Whitelable-Lösung“ einkauft und diese unter seiner eigenen Unternehmens- oder Produktbezeichnung Dritten anbietet, kann ebenfalls als Anbieter in diesem Sinne gelten. Das gleiche gilt dann, wenn eine KI-Lösung maßgeblich verändert und dann in Verkehr gebracht wird.
- „Betreiber“ (Art. 3 Nr. 4 AI Act): Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet. Es geht also im weitesten Sinne um KI-Nutzer, z. B. Unternehmen, das seinen Beschäftigten ein angepasstes KI-System bereitstellt, aber auch z. B. Soloselbständige, die eine KI zu eigenen geschäftlichen Zwecken nutzen.
- „Händler“ (Art. 3 Nr. 7 AI Act): Eine natürliche oder juristische Person in der Lieferkette, die ein KI-System auf dem Unionsmarkt bereitstellt, mit Ausnahme des Anbieters oder des Einführers. Dazu zählen etwa KI-Zwischen- oder -Großhändler.
Neben diesen in Art. 3 KI Act definierten Akteuren tauchen in manchen Vorschriften auch Nutzer oder Produkthersteller auf.
- Als Produkthersteller in diesem Sinne gilt z. B. derjenige, der ein KI-System in ein eigenes Produkt einbindet und dieses Dritten gegenüber anbietet.
- Nutzer sind alle diejenigen, die KI einsetzen, die also beispielsweise mit Hilfe von ChatGPT Marketingtexte erstellen oder in Midjourney Bilder erzeugen lassen.
Außerdem benennt der AI Act auch noch „Bevollmächtigte“, die auf dem Gebiet der EU bestimmte Pflichten für KI-Anbieter erfüllen, sowie „Einführer“, also KI-Importeure.
Tipp
Praxistipp: Pflichten aus dem AI Act richten sich nach Risikoklasse und Rolle
Je nach Risikoklasse und Rolle des Akteurs treffen diesen verschiedene Pflichten aus dem AI Act. Dazu muss in jeder Vorschrift genau hingeschaut werden, denn manchmal ist z .B. „nur“ der Anbieter verpflichtet, manchmal trifft es zusätzlich noch den Betreiber usw.
Wer also seinen Beschäftigten z. B. ChatGPT bereitstellt, seinen Kunden einen KI-Chatbot auf seiner Website anbietet oder eine KI mit den eigenen Unternehmensdaten trainiert, um es den eigenen Beschäftigten als digitale Assistenz zur Verfügung zu stellen, der fällt in aller Regel unter den AI Act.
Welche Risikoklassen gibt es?
Der AI Act verfolgt nach aktuellem Stand einen risikobasierten Ansatz, d. h. je höher das Risiko einer KI, desto mehr Pflichten sind zu erfüllen. Es gibt nach dem AI Act folgende Risikostufen:
- unannehmbares Risiko, d. h. verbotene KI-Systeme
- hohes Risiko
- begrenztes Risiko (z. B. KI-Chatbots)
- minimales Risiko (z. B. Suchalgorithmen, Computerspiele oder Spam-Filter)
Info
GPAI – KI-Modelle mit allgemeinem Verwendungszweck
Zusätzlich kennt die KI-Verordnung nach aktuellem Stand noch KI-Modelle mit allgemeinem Verwendungszweck (engl.: general purpose AI, kurz: GPAI). Damit sind große Sprachmodelle, wie etwa GPT von OpenAI, adressiert. Denn mit diesen wird nicht ein bestimmter Einsatzzweck verfolgt, sie können vielmehr von Geburtstagsgedichten über Kochrezepte und Schulaufsätze bis hin zu Programmcode nahezu allen Zwecken dienen. Aber auch hier richten sich die gesetzlichen Pflichten nach dem Risikopotential des jeweiligen konkreten Einsatzzwecks.
Als KI mit unannehmbarem Risiko werden insbesondere folgende KI-Techniken eingestuft:
- unterschwellige Beeinflussung
- Ausnutzung der Schwäche oder Schutzbedürftigkeit von Personen
- biometrische Kategorisierung
- Bewertung des sozialen Verhaltens
- biometrische Echtzeit-Fernidentifizierungssysteme
- Risikobeurteilung von natürlichen Personen
- Datenbanken zur Gesichtserkennung
- Ableitung von Emotionen natürlicher Personen
- Analyse von aufgezeichnetem Bildmaterial
Fällt eine KI in einen der genannten Bereiche, so ist deren Nutzung bis spätestens zum 2. Februar 2025 einzustellen.
Zum Hochrisiko-Bereich zählen hingegen u. a. die folgenden KI-Techniken:
- Biometrische Identifizierung
- Verwaltung und Betrieb kritischer Infrastrukturen (KRITIS)
- Allgemeine und berufliche Bildung
- Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
- Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen (z. B. Wohnen, Strom, Heizung, Internet, Ärzte...)
- Strafverfolgung
- Migration, Asyl und Grenzkontrolle
- Rechtspflege und demokratische Prozesse
Der AI Act sieht hier noch weitere Details und auch Ausnahmen vor, so dass die Prüfung, ob ein hohes Risiko vorliegt, in der Praxis teilweise gar nicht so einfach ist.
Anbieter bzw. Betreiber von KI-Systemen mit begrenztem Risiko müssen im Wesentlichen Transparenzpflichten erfüllen, z. B. :
- beim Einsatz von KI-Chatbots (Art. 50 Abs. 1 KI-VO)
- für KI-Systeme, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen können (Art. 50 Abs. 2 KI-VO)
- beim Betrieb von KI-Emotionserkennungssystemen oder KI-Systemen zur biometrischen Kategorisierung (Art. 50 Abs. 3 KI-VO)
- bei Deepfakes (Art. 50 Abs. 4 S. 1-3 KI-VO) oder
- für KI‑Systeme, die Text erzeugen oder manipulieren, die veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren (Art. 50 Abs. 4 S. 4-6 KI-VO).
Wie sieht der Pflichtenkatalog für Hochrisiko-KI aus?
Wenn ein KI-System in die Hochrisikoklasse fällt, muss es nach dem AI Act insbesondere folgende Vorgaben erfüllen:
- Stand der Technik
- Risikomanagementsystem / Qualitätsmanagementsystem
- Resilienz / Cyber-Security
- Testverfahren / regelmäßige Tests
- EU-Konformitätserklärung und CE-Kennzeichnung
- Zusammenarbeit mit den zuständigen Behörden
- Korrekturmaßnahmen / Informationspflichten
- technische Dokumentation / Aufbewahrungspflichten
- Transparenz
- Protokollierung von Funktionsmerkmalen
- Beobachtung nach Markteinführung
- Meldung von „schwerwiegenden Vorfällen“
- Durchführung einer Grundrechte-Folgenabschätzung
- Durchführung einer Datenschutz-Folgenabschätzung
- Entwicklung mit Trainingsdaten, die eine bestimmte Qualität aufweisen (so genannte Daten-Governance)
- Registrierung
- menschliche Aufsicht
- Maßnahmen zur Barrierefreiheit nach dem Barrierefreiheitsstärkungsgesetz
Im Wesentlichen werden hier KI-Anbieter in die Pflicht genommen, teilweise aber auch KI-Betreiber.
Muss ein „KI-Beauftragter“ bestellt werden?
Trotz des umfangreichen Pflichtenkatalogs insbesondere für Hochrisiko-KI sowie der komplexen Rechtslage ist es nicht verpflichtend, einen „KI-Beauftragten“, ein „KI-Kompetenz-Team“ o.ä. zu bestellen. Eine mit der gesetzlich verankerten Pflicht, einen Datenschutzbeauftragten zu benennen, vergleichbare Regelung sieht der AI Act nicht vor.
Allerdings ist dies sinnvoll, zumal Art. 4 AI Act eine umfassende Pflicht zum Aufbau von KI-Kompetenz vorsieht. Insbesondere Anbieter und Betreiber von KI-Systemen müssen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Hierbei sind zu berücksichtigen:
- ihre technischen Kenntnisse
- ihre Erfahrung
- ihre Ausbildung und Schulung
- und der Kontext, in dem die KI-Systeme eingesetzt werden sollen
- sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen.
Zur KI-Kompetenz in diesem Sinne gehören insbesondere die Fähigkeiten, Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen des AI Acts ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden (Art. 3 Nr. 56 KI-VO).
Konkret wird in der KI-VO also eine Fortbildungspflicht verankert, um deren Umsetzung man sich so bald wie möglich kümmern sollte.
Achtung
Welche Sanktionen sieht der AI Act vor?
Bei Verstößen gegen die Regelungen der KI-VO drohen zum Teil sehr schwere Sanktionen. Diese müssen „wirksam, verhältnismäßig und abschreckend“ sein (Art. 99 Abs. 1 S. 2 KI-VO). Die gute Nachricht ist, dass insbesondere die Interessen des KMU- Bereichs und von Startups sowie deren wirtschaftliches Überleben berücksichtigt werden müssen.
Je nach Verstoß drohen Geldbußen bis zu 35 Mio. Euro oder bis zu 7 % des weltweit erzielten Vorjahresumsatzes – je nachdem, welcher der beiden Beträge höher ist. Für KMU und Startups soll jeweils der niedrigere Betrag gelten.
EU AI Act Zusammenfassung: Was ist das Europäische Gesetz zur künstlichen Intelligenz?
Der EU AI Act ist ein Gesetzesvorschlag der Europäischen Union zur Regulierung von künstlicher Intelligenz (KI). Ziel der Richtlinie ist es, sicherzustellen, dass KI-Systeme sicher und transparent sind und die Grundrechte respektieren. Die KI-Verordnung kategorisiert in diesem Entwurf KI-Systeme nach ihrem Risiko, von minimalem bis hin zu hohem Risiko, und legt entsprechende Anforderungen fest. Unternehmen müssen strenge Kontrollen und Prüfungen durchführen, insbesondere bei Hochrisiko-Anwendungen wie medizinischen Geräten und autonomem Fahren. Der EU AI Act soll Innovation fördern, gleichzeitig aber auch Missbrauch und Schaden durch KI verhindern.
