Ein Hochrisiko-KI-System ist ein KI-System, das nach dem EU AI Act (Verordnung (EU) 2024/1689) in eine Risikoklasse mit erhöhtem Gefährdungspotenzial für Gesundheit, Sicherheit oder Grundrechte eingestuft wird und deshalb besonderen rechtlichen Pflichten unterliegt. Es ist die am strengsten regulierte Kategorie, die der AI Act nicht verbietet, sondern an Auflagen knüpft: Risikomanagement, Datenqualität, technische Dokumentation, menschliche Aufsicht und Protokollierung.
Wie der EU AI Act Hochrisiko definiert
Der AI Act verfolgt einen risikobasierten Ansatz und teilt KI-Systeme in vier Stufen: verbotene Praktiken, Hochrisiko, begrenztes Risiko und minimales Risiko. Die Hochrisiko-Klasse ist dabei nicht über die Technologie definiert, sondern über den Anwendungskontext. Dasselbe Sprachmodell kann je nach Einsatz minimal- oder hochriskant sein: Ein Chatbot, der Produktfragen beantwortet, fällt in der Regel unter begrenztes Risiko, während ein System, das Bewerbungen vorsortiert, als Hochrisiko gilt.
Der AI Act kennt zwei Wege, auf denen ein System in die Hochrisiko-Klasse rutscht. Beide sind in der Verordnung über Anhänge geregelt.
Anhang III: eigenständige Hochrisiko-Systeme
Anhang III listet konkrete Einsatzbereiche, in denen ein KI-System als hochriskant gilt. Dazu gehören unter anderem:
- Biometrische Identifizierung und Kategorisierung von Personen
- Verwaltung und Betrieb kritischer Infrastruktur (etwa Strom-, Wasser- oder Verkehrsnetze)
- Allgemeine und berufliche Bildung, beispielsweise die automatisierte Bewertung von Prüfungen
- Beschäftigung und Personalmanagement, insbesondere KI-gestütztes Bewerber-Screening und Entscheidungen über Beförderung oder Kündigung
- Zugang zu wesentlichen privaten und öffentlichen Diensten, etwa die Kreditwürdigkeitsprüfung natürlicher Personen
- Strafverfolgung, Migration, Asyl und Grenzkontrolle
- Rechtspflege und demokratische Prozesse
Diese Bereiche eint, dass eine fehlerhafte oder voreingenommene KI-Entscheidung unmittelbar in die Lebenschancen oder Grundrechte eines Menschen eingreift. Genau deshalb zieht der AI Act hier die Auflagen an.
Anhang I: in regulierte Produkte eingebettete Systeme
Der zweite Weg betrifft KI, die als Sicherheitskomponente in Produkte eingebettet ist, die bereits eigenen EU-Produktsicherheitsvorschriften unterliegen. Anhang I verweist auf diese bestehenden Regelwerke, etwa für Maschinen, Medizinprodukte, Aufzüge oder Spielzeug. Steckt KI in einem solchen Produkt und ist sie sicherheitsrelevant, gilt sie ebenfalls als Hochrisiko-System und muss zusätzlich die Anforderungen des AI Act erfüllen.
Welche Pflichten ein Hochrisiko-System auslöst
Wer ein Hochrisiko-System anbietet oder betreibt, muss einen Katalog von Anforderungen erfüllen, der deutlich über das hinausgeht, was für die niedrigeren Risikoklassen gilt. Die wichtigsten Pflichten sind:
| Pflicht | Was dahintersteckt |
|---|---|
| Risikomanagementsystem | Ein fortlaufender Prozess, der Risiken über den gesamten Lebenszyklus identifiziert, bewertet und minimiert. |
| Daten-Governance | Trainings-, Validierungs- und Testdaten müssen relevant, repräsentativ und möglichst fehlerfrei sein, um Verzerrungen zu vermeiden. |
| Technische Dokumentation | Eine vollständige Beschreibung des Systems, die Behörden die Konformitätsprüfung ermöglicht. |
| Protokollierung | Automatische Aufzeichnung von Ereignissen, damit Entscheidungen nachvollziehbar bleiben. |
| Transparenz | Betreiber müssen verstehen, wie das System funktioniert und wofür es geeignet ist. |
| Menschliche Aufsicht | Menschen müssen das System überwachen und im Zweifel eingreifen oder es abschalten können. |
| Genauigkeit & Robustheit | Das System muss zuverlässig arbeiten und gegen Manipulation und Fehler abgesichert sein. |
Bevor ein Hochrisiko-System auf den Markt kommt, durchläuft es eine Konformitätsbewertung und wird in eine EU-Datenbank eingetragen. Anbieter müssen außerdem ein Qualitätsmanagementsystem unterhalten und nach dem Inverkehrbringen die Leistung des Systems beobachten. Betreiber, also die Unternehmen, die das System einsetzen, tragen eigene Pflichten: Sie müssen die Gebrauchsanweisung befolgen, die menschliche Aufsicht sicherstellen und relevante Vorfälle melden.
Warum das für den Mittelstand relevant ist
Viele mittelständische Unternehmen gehen davon aus, dass sie als reine Anwender von KI nicht betroffen sind. Das ist ein Trugschluss. Sobald ein Betrieb ein System einsetzt, das in einen Anhang-III-Bereich fällt, wird er zum Betreiber eines Hochrisiko-Systems, mit eigenen Pflichten, selbst wenn die KI von einem externen Anbieter stammt.
Der praktisch häufigste Fall im Mittelstand ist das Recruiting. Eine Software, die Lebensläufe automatisch filtert, Kandidaten bewertet oder ein Ranking erstellt, ist ein Hochrisiko-System nach Anhang III. Wer eine solche Lösung einkauft, muss prüfen, ob der Anbieter die Konformitätsanforderungen erfüllt, und muss die menschliche Aufsicht im eigenen Prozess verankern. Eine reine Verlagerung der Verantwortung auf den Hersteller funktioniert nicht.
Ähnlich liegt der Fall bei der Kreditwürdigkeitsprüfung natürlicher Personen, die etwa im Finanzierungs- oder Ratenkauf-Kontext eine Rolle spielt. Auch hier greift die Hochrisiko-Einstufung, sobald eine KI die Bonität bewertet und damit über den Zugang zu einer Leistung mitentscheidet.
Ein konkretes Beispiel
Ein Online-Händler mit 120 Mitarbeitenden setzt ein KI-gestütztes Bewerbermanagement ein, das eingehende Bewerbungen automatisch nach Eignung sortiert und den Recruitern eine Vorauswahl präsentiert. Damit ist der Händler Betreiber eines Hochrisiko-Systems im Sinne von Anhang III (Bereich Beschäftigung). Konkret bedeutet das: Der Anbieter der Software muss eine Konformitätsbewertung nachweisen und das System in der EU-Datenbank registriert haben. Der Händler selbst muss sicherstellen, dass die finale Personalentscheidung von einem Menschen getroffen wird, dass die Recruiter verstehen, wie das Ranking zustande kommt, und dass die Verarbeitung dokumentiert ist. Setzt er das System ohne diese Vorkehrungen ein, riskiert er nicht nur ein Bußgeld, sondern auch diskriminierende Vorauswahlen, die rechtlich angreifbar sind.
Häufige Missverständnisse
Rund um den Begriff halten sich einige Fehlannahmen, die in der Praxis teuer werden können.
„Hochrisiko heißt verboten." Falsch. Verbotene Praktiken sind eine eigene, höhere Stufe (etwa Social Scoring oder Emotionserkennung am Arbeitsplatz). Hochrisiko-Systeme sind erlaubt, aber an Auflagen gebunden.
„Das betrifft nur die Tech-Konzerne, die KI entwickeln." Falsch. Der AI Act unterscheidet zwischen Anbietern und Betreibern. Auch wer KI nur einsetzt, ist Betreiber und hat Pflichten.
„Wenn der Anbieter konform ist, bin ich aus dem Schneider." Nur teilweise. Die Anbieter-Konformität ist Voraussetzung, aber die Betreiberpflichten (menschliche Aufsicht, korrekte Nutzung, Meldepflichten) bleiben beim einsetzenden Unternehmen.
Anbieter und Betreiber: wer trägt welche Verantwortung
Der AI Act verteilt die Pflichten rund um ein Hochrisiko-System auf zwei Rollen, und das Verständnis dieser Trennung entscheidet darüber, wer im Ernstfall haftet. Der Anbieter ist, wer das System entwickelt oder entwickeln lässt und unter eigenem Namen in Verkehr bringt. Ihn treffen die schwersten Pflichten: Konformitätsbewertung, technische Dokumentation, Qualitätsmanagement, Registrierung in der EU-Datenbank und die Beobachtung des Systems nach dem Inverkehrbringen.
Der Betreiber ist, wer das System im eigenen Betrieb einsetzt. Seine Pflichten sind schlanker, aber keineswegs trivial: Er muss das System gemäß der Gebrauchsanweisung verwenden, eine kompetente menschliche Aufsicht sicherstellen, die Eingabedaten im Rahmen seiner Kontrolle relevant halten, die automatisch erzeugten Protokolle aufbewahren und schwerwiegende Vorfälle melden. In bestimmten Konstellationen kann ein Betreiber sogar selbst zum Anbieter werden, etwa wenn er ein zugekauftes System wesentlich verändert oder unter eigenem Namen weitervertreibt. Dann gehen die Anbieterpflichten auf ihn über.
Für den Mittelstand ist diese Rollenverteilung der zentrale Hebel: Wer Hochrisiko-KI nur einkauft, sollte vertraglich absichern, dass der Anbieter seine Pflichten erfüllt, und parallel die eigenen Betreiberpflichten im Prozess verankern. Beides zusammen ergibt erst die belastbare Compliance.
Wie sich Unternehmen vorbereiten
Auch wenn die Fristen verschoben wurden, ist die Vorbereitung kein Projekt, das sich auf den letzten Moment verschieben lässt. Bewährt hat sich ein geordnetes Vorgehen: Zuerst ein vollständiges Inventar aller eingesetzten KI-Systeme erstellen, dann jedes System einer Risikoklasse zuordnen, anschließend die wenigen Hochrisiko-Fälle herausarbeiten und für sie die konkreten Pflichten durchgehen. Für jede Hochrisiko-Anwendung lohnt es sich, früh zu klären, ob der Anbieter die Konformität nachweisen kann und wie die menschliche Aufsicht im eigenen Ablauf konkret aussieht. Wer diese Grundlagen schafft, steht bei Inkrafttreten der Pflichten nicht vor einem Berg, sondern vor einer überschaubaren Restaufgabe.
Aktueller Stand und Ausblick
Die Pflichten für Hochrisiko-Systeme sollten ursprünglich ab dem 2. August 2026 gelten. Mit dem sogenannten Digital Omnibus, einer vorläufigen politischen Einigung von EU-Parlament und Rat vom 7. Mai 2026, wurden diese Fristen nach hinten verschoben: für eigenständige Anhang-III-Systeme auf den 2. Dezember 2027, für in Produkte eingebettete Anhang-I-Systeme auf den 2. August 2028. Hintergrund der Verschiebung ist, dass die unterstützenden technischen Normen und die Aufsichtsinfrastruktur nicht rechtzeitig fertig waren.
Die Verschiebung ändert nichts an der Substanz der Pflichten, sie verschafft Unternehmen lediglich mehr Vorbereitungszeit. Für Betriebe mit einer Hochrisiko-Anwendung bleibt die Empfehlung daher gleich: Bestandsaufnahme und Risikoeinstufung jetzt angehen, statt auf den verschobenen Stichtag zu warten. Wichtig ist außerdem, dass der Status der Einigung formal noch nicht abgeschlossen ist; die endgültige Verabschiedung wird vor August 2026 erwartet. Wer auf dem neuesten Stand bleiben will, prüft die offiziellen Quellen regelmäßig.
Eine ausführliche, laufend aktualisierte Übersicht der Hochrisiko-Anforderungen findet sich beim EU Artificial Intelligence Act-Projekt, das den Verordnungstext und die zugehörigen Anhänge dokumentiert.
Häufige Fragen
Woran erkenne ich, ob mein KI-System hochriskant ist?
Prüfe, ob der konkrete Einsatzzweck in einem der Anhang-III-Bereiche liegt (z. B. Recruiting, Kreditprüfung, kritische Infrastruktur) oder ob die KI als Sicherheitskomponente in einem nach Anhang I regulierten Produkt steckt. Trifft eines zu, ist das System in der Regel hochriskant.
Bin ich als bloßer Anwender betroffen?
Ja. Wer ein Hochrisiko-System einsetzt, ist Betreiber und hat eigene Pflichten, vor allem die menschliche Aufsicht, die bestimmungsgemäße Nutzung und die Meldung von Vorfällen.
Ab wann gelten die Pflichten?
Nach dem Digital Omnibus ab dem 2. Dezember 2027 für eigenständige Anhang-III-Systeme und ab dem 2. August 2028 für in Produkte eingebettete Anhang-I-Systeme. Die formale Verabschiedung der Verschiebung steht noch aus.
Was passiert bei Verstößen?
Der AI Act sieht für Verstöße gegen die Pflichten im Hochrisiko-Bereich Bußgelder von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes vor. Für KMU und Start-ups gilt jeweils der niedrigere Betrag.
Was ist der erste Schritt zur Compliance?
Eine Bestandsaufnahme aller eingesetzten KI-Systeme und ihre Einstufung in die vier Risikoklassen. Erst wenn klar ist, welche Systeme hochriskant sind, lassen sich die konkreten Pflichten zuordnen.