Compliance beim Umgang mit „Hochrisiko- KI-Systemen“

Am 01.08.2024 ist die EU KI-Verordnung (VO (EU) 2024/1689) in Kraft getreten. Hiermit beginnt zunächst eine Umsetzungsfrist. Eine direkte Regelungswirkung entfaltet die Verordnung dann sukzessive ab Februar 2025. Dabei sollen die Vorschriften über sog. Hochrisiko- KI zusammen mit den meisten weiteren Vorschriften ab August 2026 gelten. Für insbesondere Anbieter aber auch Anwender von KI- Systemen gilt es innerhalb dieser Umsetzungsfrist, ihre jeweilige Software in den regulatorischen Rahmen einzuordnen.

„KI-System“ meint dabei solche Software, die auf autonomen Betrieb ausgelegt ist und die nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden können.

Welche KI- Anwendungen sind betroffen?

Art. 6 Abs.2 KI VO i.V.m. Anhang III sieht einen Katalog mit Hochrisiko- Kategorien vor. Dieser ist vorläufig abschließend, kann allerdings durch die Kommission verändert und erweitert werden. Abseits eines hoheitlichen Einsatzes von KI- Anwendung in etwa Strafverfolgung, Gefahrenabwehr, Rechtspflege u.ä. dürften für Unternehmen folgende Kategorien relevant sein:

KI als „Sicherheitsbauteil“ von Produkten

Biometrische Identifizierung und Kategorisierung natürlicher Personen

Betrieb kritischer Infrastrukturen mittels KI

Personalmanagement (insb. betreffend Auswahlentscheidungen)

Kreditwürdigkeitsprüfung und Kreditpunktebewertung

Innerhalb dieser Kategorien ist grundsätzlich von einem Hochrisiko KI- System auszugehen, soweit keine Ausnahme nach Art. 6 Abs. 3 vorliegt. Dies ist z.B. der Fall, wenn etwa nur eng gefasste Verfahrensaufgaben durchgeführt oder eine dem Grunde nach menschliche Bewertung Grundlage für den Entscheidungsprozess bleibt.

Im Gegensatz zu bestimmten schlicht verbotenen KI- Praktiken (Art. 5, z.B. „social scorring“; „biometrische Fernidentifizierung in öffentlichen Räumen“) sind Hochrisiko- KI- Systeme grundsätzlich erlaubt, unterliegen jedoch Beschränkungen und sind mit weitreichenden Pflichten verbunden.

Welche Pflichten treffen den Anbieter?

Anbieter i.S.d. KI- Verordnung ist wer KI-Systeme entwickelt und in den Verkehr bringt. Zu beachten ist, dass über den Wortlaut hinaus auch Händler, Einführer, Betreiber oder sonstige Dritte unter den Voraussetzungen. von Art. 25 KI-VO erfasst werden. Pflichten folgen insbesondere aus Art. 16 der KI-VO und umfassen u.a.:

Sicherzustellen, dass das KI-System den Anforderungen nach Art. 9- 15 KI-VO (z.B. Dokumentations- und Transparenzpflichten, Möglichkeit einer Menschlichen Beaufsichtigung, Genauigkeit, Cybersicherheit) entspricht.

Betreiben eines Qualitätsmanagements

Durchführen eine Konformitätsbewertungsverfahrens nach Art. 43 KI-VO vor dem Inverkehrbringen

Welche Pflichten treffen Betreiber?

Betreiber ist die Einrichtung oder Stelle, die ein KI-System in eigener Verantwortung verwendet. Nach Art. 26 KI-VO müssen diese sicherstellen, dass:

Diejenigen technischen und organisatorischen Maßnahmen getroffen werden, um eine korrekte Benutzung zu gewährleisten.

Eine menschliche Aufsicht durch eine qualifizierte Person erfolgt.

Durch bestimmte Betreiber eine „Grundrechte-Folgenabschätzung“ nach Art. 27 KI-VO durchgeführt wird.

Welche Pflichten treffen Händler und Einführer?

Einführer sind nach Art. 23 KI-VO verpflichtet, zu prüfen, ob eine Konformitätsbewertung und die notwendige Kennzeichnung und Dokumentation erfolgt ist. Ähnliche Pflichten gelten auch für Händler gem. Art. 24 KI-VO.

Auch die KI-VO sieht in Art. 71 teils horrende Bußgelder für Unternehmen vor. Diese können bei Verstößen gegen Hochrisiko-KI-System bis zu 15 Millionen oder 3 des weltweiten Jahresumsatzes betragen.

Fazit:

Unternehmen, Behörden und sonstige Stellen sollten die Umsetzungsfrist für die KI-VO nutzen, um ihre Software- Anwendungen auf die neuen regulatorischen Anforderungen zu überprüfen. Dies sollte aufgrund der teils hohen Komplexität ernst genommen werden.

Wir unterstützen Sie gerne bei der Umsetzung der KI-VO und der Minimierung von Sanktionsrisiken in Ihrem Unternehmen.