Hochrisiko-KI in der Praxis: Drei Anwendungsbeispiele

Kreditscoring, HR-Screening, medizinische Diagnostik: Drei konkrete Beispiele, die zeigen, wie die Pflichten des EU AI Act in der Praxis greifen.

Der EU AI Act klassifiziert KI-Systeme in Anhang III als Hochrisiko, wenn sie in Bereichen eingesetzt werden, die erhebliche Auswirkungen auf Grundrechte, Beschäftigung, Gesundheit oder den Zugang zu wesentlichen Dienstleistungen haben. Für diese Systeme gelten ab dem 2. August 2026 umfangreiche Compliance-Pflichten. Drei Praxisbeispiele zeigen, was das konkret bedeutet — und wo Anbieter und Betreiber besonders sorgfältig sein müssen.

Beispiel 1: KI-gestützte Kreditwürdigkeitsprüfung

Ein KI-System zur Bewertung der Kreditwürdigkeit von Verbrauchern fällt nach Anhang III Nr. 5 lit. b EU AI Act ausdrücklich in die Hochrisiko-Kategorie. Als Betreiber muss ein Finanzinstitut sicherstellen, dass qualifizierte Mitarbeiter die Systementscheidungen verstehen und hinterfragen können, dass Eingabedaten korrekt, vollständig und frei von systematischen Verzerrungen sind, und dass ein Verfahren existiert, fehlerhafte Entscheidungen zu korrigieren und zu melden. Als Anbieter muss das KI-Unternehmen nachweisen, dass das Modell keine bestimmten Bevölkerungsgruppen systematisch benachteiligt — und das durch transparente Dokumentation belegen.

Besonders relevant für den grenzüberschreitenden Einsatz: Finanzinstitute, die in der EU und dem Vereinigten Königreich tätig sind, unterliegen neben dem EU AI Act auch den FCA-Anforderungen an algorithmische Entscheidungssysteme im Kreditbereich. Beide Regelungsrahmen verlangen menschliche Oversight — unterscheiden sich aber in der genauen Ausgestaltung.

Beispiel 2: KI-System zur Personalauswahl

KI-Systeme zur Bewerberauswahl und Mitarbeiterbewertung fallen nach Anhang III Nr. 4 EU AI Act in die Hochrisiko-Kategorie, da sie den Zugang zu Beschäftigung erheblich beeinflussen. Der Betreiber — typischerweise ein Unternehmen mit HR-Abteilung — muss sicherstellen, dass Mitarbeiter ausreichend geschult sind, um Systemausgaben kritisch zu bewerten und nicht blind zu übernehmen. Eingabedaten müssen repräsentativ sein, und das System ist regelmäßig auf diskriminierende Entscheidungsmuster zu prüfen.

Der Anbieter muss transparent machen, welche Faktoren das System bei der Bewertung berücksichtigt, und nachweisen, dass keine geschützten Merkmale wie Geschlecht, Herkunft oder Alter in die Entscheidungsfindung einfließen. Diese Nachweispflicht gilt in der EU unmittelbar aus dem EU AI Act — in Griechenland und Deutschland flankiert durch das nationale Antidiskriminierungsrecht.

Beispiel 3: KI-System zur medizinischen Diagnostik

Diagnostik-KI, die in die Kategorie der Medizinprodukte fällt, ist nach Art. 6 Abs. 1 EU AI Act i.V.m. Anhang I Hochrisiko-KI — bereits auf Ebene der Produktsicherheit. Ein Krankenhaus als Betreiber muss sicherstellen, dass qualifizierte Ärzte die Diagnosevorschläge des Systems kritisch prüfen und nicht ungeprüft übernehmen. Das Personal muss geschult sein, unplausible Ergebnisse zu erkennen. Bei Auffälligkeiten besteht eine Meldepflicht gegenüber dem Anbieter und der zuständigen Marktüberwachungsbehörde.

Der Anbieter muss nachweisen, dass das System mit repräsentativen Patientendaten trainiert wurde, um Verzerrungen zu vermeiden, die zu systematisch fehlerhaften Diagnosen bei bestimmten Patientengruppen führen könnten. Regelmäßige Updates bei neuen medizinischen Erkenntnissen sind Pflicht.

Was alle drei Beispiele gemeinsam haben

In allen drei Konstellationen gilt: Anbieter und Betreiber teilen die Compliance-Verantwortung. Eine frühzeitige vertragliche Abgrenzung der Rollen und Pflichten ist unerlässlich — insbesondere bei Drittanbieter-KI-Systemen, die als SaaS bezogen werden. Art. 25 EU AI Act regelt, wann ein Betreiber durch erhebliche Modifikation des Systems zum Anbieter wird — und damit das vollständige Pflichtenprogramm übernimmt.

Häufig gestellte Fragen (FAQ)

Wie erkenne ich, ob mein KI-System als Hochrisiko einzustufen ist?

Der erste Schritt ist die Prüfung, ob das System in einem der in Anhang III EU AI Act genannten Bereiche eingesetzt wird. Selbst wenn das der Fall ist, gilt nach Art. 6 Abs. 3 EU AI Act eine Ausnahme, wenn das System kein erhebliches Beeinträchtigungsrisiko begründet — etwa weil es lediglich vorbereitende Aufgaben erfüllt oder menschliche Entscheidungen nicht ersetzt. Diese Einordnung erfordert eine strukturierte Analyse des konkreten Systems und seines Einsatzkontexts.

Was passiert, wenn ich als Betreiber ein Hochrisiko-System einsetze, das der Anbieter nicht als solches dokumentiert hat?

Die Betreiberpflichten des Art. 26 EU AI Act gelten unabhängig davon, wie der Anbieter das System klassifiziert hat. Betreiber müssen eigenständig prüfen, ob ihr Einsatz in einen Hochrisiko-Kontext fällt. Vertragliche Absicherungen gegenüber dem Anbieter — insbesondere Konformitätszusagen und Informationspflichten — sind daher essenziell.