Ein High-Risk-KI-System (deutsch „Hochrisiko-KI-System") ist eine künstliche Intelligenz, die nach der KI-Verordnung der Europäischen Union – dem EU AI Act – in die höchste regulierte Risikoklasse fällt und deshalb besonders strenge Anforderungen erfüllen muss. Der Grund: Solche Systeme können erhebliche Auswirkungen auf die Sicherheit, die Gesundheit oder die Grundrechte von Menschen haben. Wo viel auf dem Spiel steht, verlangt der Gesetzgeber entsprechend viel Sorgfalt.
Der EU AI Act, der 2024 in Kraft trat und dessen Pflichten gestaffelt über mehrere Jahre wirksam werden, verfolgt einen risikobasierten Ansatz. Nicht jede KI wird gleich behandelt. Stattdessen teilt die Verordnung KI-Anwendungen nach ihrem Gefährdungspotenzial in Stufen ein – und knüpft an jede Stufe unterschiedliche Pflichten.
Die Risikoklassen des EU AI Act
Der risikobasierte Ansatz lässt sich in vier Stufen zusammenfassen:
| Risikoklasse | Beispiele | Folge |
|---|---|---|
| Unannehmbares Risiko | Social Scoring, manipulatives Verhalten | Verboten |
| Hohes Risiko | KI in Bewerbungsauswahl, Kreditvergabe, Medizin | Strenge Pflichten |
| Begrenztes Risiko | Chatbots, KI-generierte Inhalte | Transparenzpflichten |
| Minimales Risiko | Spamfilter, KI in Videospielen | Kaum Auflagen |
Das High-Risk-System ist die zweithöchste Stufe – nicht verboten, aber nur unter klaren Bedingungen zulässig. Genau hier liegt für Unternehmen der größte Handlungsbedarf, denn viele wirtschaftlich attraktive KI-Anwendungen fallen in diese Klasse.
Wann gilt eine KI als hochriskant?
Der EU AI Act benennt zwei Wege in die Hochrisiko-Klasse. Erstens: KI, die als Sicherheitskomponente in bereits regulierten Produkten steckt – etwa in Medizinprodukten, Fahrzeugen oder Maschinen. Zweitens: KI in bestimmten, ausdrücklich gelisteten Anwendungsbereichen, in denen Entscheidungen Menschen unmittelbar betreffen. Dazu zählen unter anderem:
- Personalauswahl und Bewerbermanagement
- Bewertung der Kredit- und Bonitätswürdigkeit
- Zugang zu Bildung und Prüfungsbewertung
- kritische Infrastruktur wie Energie- und Wasserversorgung
- Strafverfolgung und Grenzkontrolle
Das Muster ist erkennbar: Überall dort, wo eine fehlerhafte oder voreingenommene KI-Entscheidung jemandem ernsthaft schaden kann, greift die Hochrisiko-Einstufung.
Welche Pflichten gelten?
Für Anbieter von High-Risk-KI-Systemen gelten umfangreiche Anforderungen, die vor dem Inverkehrbringen erfüllt sein müssen. Dazu gehören ein Risikomanagementsystem über den gesamten Lebenszyklus, hohe Anforderungen an die Qualität der Trainingsdaten, eine ausführliche technische Dokumentation, Protokollierung der Systemaktivität, Transparenz gegenüber den Nutzern, eine wirksame menschliche Aufsicht sowie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit. Vor dem Markteintritt steht in der Regel eine Konformitätsbewertung. Auch die Betreiber – also Unternehmen, die ein solches System einsetzen – tragen Pflichten, etwa die menschliche Aufsicht tatsächlich sicherzustellen und die Systeme bestimmungsgemäß zu nutzen.
Ein konkretes Beispiel
Ein mittelständisches Unternehmen möchte den Bewerbungseingang automatisieren und eine KI einsetzen, die Lebensläufe vorsortiert und Kandidaten eine Eignungspunktzahl gibt. Das ist ein klassisches High-Risk-Szenario, denn die KI beeinflusst den Zugang von Menschen zu Arbeit. Konkret bedeutet das: Das Unternehmen muss sicherstellen, dass die Trainingsdaten nicht systematisch bestimmte Gruppen benachteiligen, die Entscheidungslogik nachvollziehbar dokumentieren, Bewerber transparent über den KI-Einsatz informieren und eine menschliche Letztentscheidung garantieren – die KI darf vorsortieren, aber nicht allein ablehnen. Wer diese Anforderungen ignoriert, riskiert nicht nur Bußgelder, sondern auch diskriminierende Entscheidungen mit realem Schaden für Betroffene und Reputation.
Was Unternehmen jetzt tun sollten
Der wichtigste erste Schritt ist eine ehrliche Bestandsaufnahme: Welche KI-Systeme setzen wir ein oder planen wir – und in welche Risikoklasse fallen sie? Diese Einstufung steht am Anfang jeder KI-Compliance. Fällt eine Anwendung in die Hochrisiko-Klasse, sollten die Anforderungen früh in die Entwicklung einfließen, nicht nachträglich aufgepfropft werden – ähnlich dem Gedanken „Privacy by Design" beim Datenschutz. Die genauen Pflichten und der Geltungsbereich ergeben sich aus dem Verordnungstext selbst; eine gute Anlaufstelle ist der offizielle Überblick zum EU AI Act.
Einordnung
Das High-Risk-KI-System ist die Kategorie, an der sich entscheidet, ob ein KI-Projekt regulatorisch tragfähig ist. Es ist kein Verbot, sondern ein Rahmen: KI in sensiblen Bereichen bleibt erlaubt, muss aber nachweisbar sicher, fair und kontrollierbar sein. Für Unternehmen im Mittelstand bedeutet das vor allem, früh zu prüfen, ob die eigenen KI-Vorhaben betroffen sind – denn die Anforderungen lassen sich gut erfüllen, wenn man sie von Beginn an einplant, und werden teuer, wenn man sie übersieht. Wer hier sauber arbeitet, baut nicht nur rechtskonforme, sondern auch vertrauenswürdigere KI.