Der AI Act der EU teilt KI-Systeme in vier Risikokategorien ein, darunter auch das sogenannte „hohe Risiko“. Doch was genau versteht man unter hohes Risiko und welche Folgen hat diese Einstufung für Unternehmen? Hier erfahren Sie alles Wichtige zur Definition und den Kriterien für Hochrisiko-Systeme im AI Act.

Wann gilt ein KI-System als „hohes Risiko“?

Laut AI Act fallen KI-Systeme in die Kategorie „hohes Risiko“, wenn sie:

1. als Sicherheitskomponente in Produkten verwendet werden (Anhang II) oder
2. in bestimmten sensiblen Bereichen zum Einsatz kommen (Anhang III).

Zu diesen Hochrisiko-Bereichen zählen unter anderem:

• Biometrische Identifizierung und Kategorisierung von Personen
• Management und Betrieb kritischer Infrastrukturen wie Verkehr, Wasser- oder Energieversorgung
• Bildung und Ausbildung, etwa bei der Bewertung von Prüfungen oder Zulassung zu Bildungseinrichtungen
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, z.B. bei der Auswahl von Bewerbern oder Beförderungsentscheidungen
• Zugang zu öffentlichen Leistungen und Diensten wie Sozialleistungen oder Kreditwürdigkeitsprüfungen
• Strafverfolgung, Justizverwaltung und demokratische Prozesse
• Migration, Asyl und Grenzkontrollen

Ausnahmen von der Einstufung als hohes Risiko im AI Act

Es gibt jedoch auch Ausnahmen von der Hochrisiko-Einstufung. So fallen beispielsweise KI-Systeme, die ausschließlich zu Forschungs- und Entwicklungszwecken verwendet werden, nicht unter die strengen Anforderungen. Auch für den Einsatz durch Strafverfolgungs- und Justizbehörden gelten teilweise abweichende Regeln.

Profiling als Hochrisiko-Anwendung

Ein besonderes Augenmerk legt der AI Act auf das sogenannte Profiling. Somit ist die automatisierte Verarbeitung personenbezogener Daten gemeint, um bestimmte persönliche Aspekte einer Person zu bewerten oder vorherzusagen. Profiling-Systeme, die erhebliche Auswirkungen auf Einzelpersonen haben können, gelten grundsätzlich als Hochrisiko-Anwendungen.

Was bedeutet die Hochrisiko-Einstufung für Unternehmen?

Für Anbieter von Systemen, die die Definition des hohen Risikos laut AI Act erfüllen, bringt die Einstufung erhebliche Pflichten und Anforderungen mit sich:

• Sie müssen ein umfassendes Risikomanagement betreiben und hohe Qualitätsstandards einhalten.
• Die Systeme müssen transparent und nachvollziehbar sein, etwa durch eine detaillierte technische Dokumentation.
• Es muss eine menschliche Aufsicht gewährleistet sein, um Fehlentscheidungen oder Diskriminierung zu vermeiden.
• Die Systeme müssen robust, genau und cybersicher sein, um Manipulationen oder Angriffe zu verhindern.
• Vor dem Inverkehrbringen müssen die Systeme in einer EU-Datenbank registriert und einer Konformitätsbewertung unterzogen werden.
• Auch nach der Markteinführung müssen die Systeme kontinuierlich überwacht und mögliche Vorfälle gemeldet werden.

Die Einhaltung dieser Pflichten bedeutet für Unternehmen einen erheblichen Compliance-Aufwand und zusätzliche Kosten. Gleichzeitig drohen bei Verstößen empfindliche Bußgelder und Haftungsrisiken.

AI Act: Die Pflichten für Anbieter von Hochrisiko-KI-Systemen

Der AI Act der EU stellt hohe Anforderungen an Anbieter, die ein KI-System mit hohem Risiko betreiben. Doch was genau müssen Unternehmen beachten, um compliant zu sein? Hier erfahren Sie alles über die konkreten Pflichten und Aufgaben, die der AI Act vorschreibt.

Risikomanagement und Qualitätssicherung

Ein zentraler Punkt ist das Risikomanagement. Anbieter müssen potenzielle Risiken ihrer KI-Systeme systematisch identifizieren, bewerten und minimieren. Dazu gehört auch die Einrichtung eines Qualitätsmanagementsystems, das die Einhaltung der AI Act-Anforderungen sicherstellt.

Beispiel: Ein Unternehmen, das KI zur Bewerberauswahl einsetzt, muss mögliche Diskriminierungsrisiken analysieren und geeignete Gegenmaßnahmen ergreifen, etwa durch regelmäßige Überprüfung der Algorithmen auf Verzerrungen.

Technische Dokumentation und Transparenz

Hochrisiko-KI-Systeme müssen ausführlich dokumentiert werden. Die technische Dokumentation muss unter anderem folgende Punkte enthalten:

• eine allgemeine Beschreibung des Systems und seines Verwendungszwecks
• die Trainingsdaten des Systems
• die wichtigsten Designentscheidungen und verwendeten Methoden
• eine Erklärung, wie das System seine Ergebnisse erzielt (Explainable AI)
• die erwartete Leistung und bekannte Einschränkungen des Systems

Diese Informationen müssen für Aufsichtsbehörden jederzeit zugänglich sein. Ziel ist eine größtmögliche Transparenz und Nachvollziehbarkeit der KI-Systeme.

Menschliche Aufsicht

Ein weiterer wichtiger Punkt ist die menschliche Aufsicht. Hochrisiko-KI-Systeme dürfen nicht völlig autonom agieren, sondern müssen von Menschen überwacht und kontrolliert werden. Die Art und Intensität der Aufsicht hängt dabei vom konkreten Anwendungsfall ab.

Mögliche Maßnahmen sind zum Beispiel:

• die Möglichkeit für den Menschen, die KI-Entscheidung zu übersteuern oder zu korrigieren
• die Einrichtung eines „Human-in-the-Loop“-Systems, bei dem die KI nur Vorschläge macht, die finale Entscheidung aber beim Menschen liegt
• regelmäßige Stichprobenkontrollen der KI-Ergebnisse durch menschliche Experten

Robustheit, Genauigkeit und Cybersicherheit

Hochrisiko-KI-Systeme müssen höchsten Ansprüchen an Robustheit, Genauigkeit und Sicherheit genügen. Sie müssen zuverlässig funktionieren, auch unter schwierigen Bedingungen oder bei unvorhergesehenen Ereignissen.

Dazu gehört auch der Schutz vor Cyberangriffen und Manipulationen. Anbieter müssen geeignete Sicherheitsmaßnahmen ergreifen, um die Integrität und Vertraulichkeit der Systeme zu gewährleisten.

Beispiel: Ein KI-System zur Erkennung von Kreditkartenbetrug muss auch bei hohem Transaktionsaufkommen zuverlässig arbeiten und gegen Hacking-Versuche abgesichert sein.

Registrierung und Konformitätsbewertung

Bevor ein Hochrisiko-KI-System in Verkehr gebracht werden darf, muss es in einer EU-Datenbank registriert werden. Dort müssen alle relevanten Informationen hinterlegt werden, etwa zur Funktionsweise, den Trainingsdaten und den durchgeführten Tests.

Zudem muss das System eine Konformitätsbewertung durchlaufen. Dabei wird geprüft, ob alle Anforderungen des AI Act erfüllt sind. Je nach Risikoklasse kann dies eine Selbstbewertung durch den Anbieter oder eine unabhängige Prüfung durch eine benannte Stelle sein.

Erst wenn die Konformität bestätigt ist, darf das System die CE-Kennzeichnung tragen und in der EU in Verkehr gebracht werden.

Nachträgliche Überwachung und Berichterstattung

Die Pflichten enden nicht mit der Markteinführung. Auch im laufenden Betrieb müssen Hochrisiko-KI-Systeme kontinuierlich überwacht werden.

Anbieter müssen alle Vorfälle und Störungen dokumentieren und an die Aufsichtsbehörden melden. Dazu gehören auch Fälle, in denen das System zu Diskriminierung, Fehlentscheidungen oder Schäden geführt hat.

Zudem müssen Anbieter regelmäßig Berichte über die Leistung und Sicherheit ihrer Systeme vorlegen. So soll sichergestellt werden, dass die Anforderungen des AI Act dauerhaft eingehalten werden.

Apple Intelligence als Vorbild

Mit der Ankündigung von Apple, wichtige KI-Funktionen direkt auf dem Endgerät der Benutzer zu verarbeiten ohne die Daten in eine Cloud hochzuladen, zeigt dass das Unternehmen neue Wege im Bereich des Datenschutzes gehen möchte.

Fazit: Hohe Hürden, aber auch Chancen

Die Pflichten für Anbieter von Hochrisiko-KI-Systemen sind zweifellos anspruchsvoll und komplex. Sie erfordern erhebliche Investitionen in Prozesse, Personal und Technologie.

Doch die Mühen lohnen sich. Denn Unternehmen, die die Anforderungen erfüllen, können sich als vertrauenswürdige und verantwortungsvolle Anbieter positionieren. Sie gewinnen einen Wettbewerbsvorteil in einem Markt, der immer stärker auf Sicherheit und Ethik achtet.

Zudem tragen sie dazu bei, das enorme Potenzial von KI zum Wohle der Gesellschaft zu nutzen – ohne die Risiken aus dem Blick zu verlieren. Der AI Act bietet dafür den richtigen Rahmen.

Es liegt nun an den Unternehmen, die Vorgaben mit Leben zu füllen und die Zukunft der KI verantwortungsvoll mitzugestalten. Eine Herausforderung, die sich lohnt anzunehmen.