Logo von nextlevels
Projekt anfragen
Zurück zum Wiki

Hochrisiko-KI-System

Zuletzt aktualisiert am

Kurz erklärt

Ein Hochrisiko-KI-System ist ein KI-System, das nach dem EU AI Act (Verordnung (EU) 2024/1689) in eine Risikoklasse mit erhöhtem Gefährdungspotenzial für Gesundheit, Sicherheit oder Grundrechte eingestuft wird und deshalb besonderen rechtlichen Pflichten unterliegt. Es ist die am strengsten regulierte Kategorie, die der AI Act nicht verbietet, sondern an Auflagen knüpft: Risikomanagement, Datenqualität, technische Dokumentation, menschliche Aufsicht und Protokollierung.

Wie der EU AI Act Hochrisiko definiert

Der AI Act verfolgt einen risikobasierten Ansatz und teilt KI-Systeme in vier Stufen: verbotene Praktiken, Hochrisiko, begrenztes Risiko und minimales Risiko. Die Hochrisiko-Klasse ist dabei nicht über die Technologie definiert, sondern über den Anwendungskontext. Dasselbe Sprachmodell kann je nach Einsatz minimal- oder hochriskant sein: Ein Chatbot, der Produktfragen beantwortet, fällt in der Regel unter begrenztes Risiko, während ein System, das Bewerbungen vorsortiert, als Hochrisiko gilt.

Der AI Act kennt zwei Wege, auf denen ein System in die Hochrisiko-Klasse rutscht. Beide sind in der Verordnung über Anhänge geregelt.

Anhang III: eigenständige Hochrisiko-Systeme

Anhang III listet konkrete Einsatzbereiche, in denen ein KI-System als hochriskant gilt. Dazu gehören unter anderem:

  • Biometrie, soweit ihr Einsatz überhaupt zulässig ist: biometrische Fernidentifizierung, Kategorisierung nach sensiblen Merkmalen und Emotionserkennung
  • Verwaltung und Betrieb kritischer Infrastruktur (etwa Strom-, Wasser- oder Verkehrsnetze)
  • Allgemeine und berufliche Bildung, beispielsweise die automatisierte Bewertung von Prüfungen
  • Beschäftigung und Personalmanagement, insbesondere KI-gestütztes Bewerber-Screening und Entscheidungen über Beförderung oder Kündigung
  • Zugang zu wesentlichen privaten und öffentlichen Diensten, etwa die Kreditwürdigkeitsprüfung natürlicher Personen
  • Strafverfolgung, Migration, Asyl und Grenzkontrolle
  • Rechtspflege und demokratische Prozesse

Diese Bereiche eint, dass eine fehlerhafte oder voreingenommene KI-Entscheidung unmittelbar in die Lebenschancen oder Grundrechte eines Menschen eingreift. Genau deshalb zieht der AI Act hier die Auflagen an.

Anhang I: in regulierte Produkte eingebettete Systeme

Der zweite Weg betrifft KI, die als Sicherheitskomponente in Produkte eingebettet ist, die bereits eigenen EU-Produktsicherheitsvorschriften unterliegen, oder die selbst ein solches Produkt ist. Anhang I verweist auf diese bestehenden Regelwerke, etwa für Medizinprodukte, Aufzüge oder Spielzeug. Hochriskant ist ein solches System nach Artikel 6 Absatz 1 aber nur, wenn das Produkt zusätzlich einer Konformitätsbewertung durch Dritte unterliegt. Dann muss es neben dem Produktrecht auch die Anforderungen des AI Act erfüllen. Seit dem Digital Omnibus zur KI ist außerdem klargestellt: KI, die ausschließlich für nicht sicherheitsrelevante Aufgaben wie Nutzerunterstützung, Leistungsoptimierung, Automatisierung oder Qualitätskontrolle eingesetzt wird, gilt nicht als Sicherheitskomponente. KI, deren Ausfall oder Fehlfunktion Gesundheit und Sicherheit gefährden würde, gilt dagegen immer als Sicherheitskomponente.

Maschinen stehen seit dem Omnibus in Abschnitt B von Anhang I. Für KI in Maschinen gelten damit nur noch einzelne Vorschriften der KI-Verordnung unmittelbar (Artikel 2 Absatz 2). Die Anforderungen an solche Systeme sollen über delegierte Rechtsakte zur Maschinenverordnung (EU) 2023/1230 einfließen, die ab dem 2. August 2028 gelten.

Hochrisiko-KI rechtssicher einsetzen

Von der Prozessanalyse bis zur Umsetzung – wir bringen KI dorthin, wo sie messbaren Wert schafft.

KI-Beratung kennenlernen

Welche Pflichten ein Hochrisiko-System auslöst

Wer ein Hochrisiko-System anbietet oder betreibt, muss einen Katalog von Anforderungen erfüllen, der deutlich über das hinausgeht, was für die niedrigeren Risikoklassen gilt. Die wichtigsten Pflichten sind:

Kernpflichten für Hochrisiko-KI-Systeme nach dem EU AI Act
PflichtWas dahintersteckt
RisikomanagementsystemEin fortlaufender Prozess, der Risiken über den gesamten Lebenszyklus identifiziert, bewertet und minimiert.
Daten-GovernanceTrainings-, Validierungs- und Testdaten müssen relevant, repräsentativ und möglichst fehlerfrei sein, um Verzerrungen zu vermeiden.
Technische DokumentationEine vollständige Beschreibung des Systems, die Behörden die Konformitätsprüfung ermöglicht.
ProtokollierungAutomatische Aufzeichnung von Ereignissen, damit Entscheidungen nachvollziehbar bleiben.
TransparenzBetreiber müssen verstehen, wie das System funktioniert und wofür es geeignet ist.
Menschliche AufsichtMenschen müssen das System überwachen und im Zweifel eingreifen oder es abschalten können.
Genauigkeit, Robustheit & CybersicherheitDas System muss zuverlässig arbeiten und gegen Manipulation, Fehler und Angriffe abgesichert sein.

Bevor ein Hochrisiko-System auf den Markt kommt, durchläuft es eine Konformitätsbewertung. Systeme nach Anhang III registriert der Anbieter zusätzlich in einer EU-Datenbank, Systeme für kritische Infrastruktur auf nationaler Ebene. Anbieter müssen außerdem ein Qualitätsmanagementsystem unterhalten und nach dem Inverkehrbringen die Leistung des Systems beobachten. Betreiber, also die Unternehmen, die das System einsetzen, tragen eigene Pflichten: Sie müssen die Gebrauchsanweisung befolgen, die menschliche Aufsicht sicherstellen und relevante Vorfälle melden.

Warum das für den Mittelstand relevant ist

Viele mittelständische Unternehmen gehen davon aus, dass sie als reine Anwender von KI nicht betroffen sind. Das ist ein Trugschluss. Sobald ein Betrieb ein System einsetzt, das in einen Anhang-III-Bereich fällt, wird er zum Betreiber eines Hochrisiko-Systems, mit eigenen Pflichten, selbst wenn die KI von einem externen Anbieter stammt.

Der praktisch häufigste Fall im Mittelstand ist das Recruiting. Eine Software, die Lebensläufe automatisch filtert, Kandidaten bewertet oder ein Ranking erstellt, ist ein Hochrisiko-System nach Anhang III. Wer eine solche Lösung einkauft, muss prüfen, ob der Anbieter die Konformitätsanforderungen erfüllt, und muss die menschliche Aufsicht im eigenen Prozess verankern. Eine reine Verlagerung der Verantwortung auf den Hersteller funktioniert nicht.

Ähnlich liegt der Fall bei der Kreditwürdigkeitsprüfung natürlicher Personen, die etwa im Finanzierungs- oder Ratenkauf-Kontext eine Rolle spielt. Auch hier greift die Hochrisiko-Einstufung, sobald eine KI die Bonität bewertet und damit über den Zugang zu einer Leistung mitentscheidet.

Ein konkretes Beispiel

Ein Online-Händler mit 120 Mitarbeitenden setzt ein KI-gestütztes Bewerbermanagement ein, das eingehende Bewerbungen automatisch nach Eignung sortiert und den Recruitern eine Vorauswahl präsentiert. Damit ist der Händler Betreiber eines Hochrisiko-Systems im Sinne von Anhang III (Bereich Beschäftigung). Sobald die Pflichten ab dem 2. Dezember 2027 gelten, bedeutet das konkret: Der Anbieter der Software muss eine Konformitätsbewertung nachweisen und das System in der EU-Datenbank registriert haben. Der Händler selbst muss sicherstellen, dass die finale Personalentscheidung von einem Menschen getroffen wird, dass die Recruiter verstehen, wie das Ranking zustande kommt, und dass die Verarbeitung dokumentiert ist. Setzt er das System ohne diese Vorkehrungen ein, riskiert er nicht nur ein Bußgeld, sondern auch diskriminierende Vorauswahlen, die rechtlich angreifbar sind. Eine Ausnahme gilt nach der Übergangsregel in Artikel 111 Absatz 2 für Bestandssysteme: Wurde bereits ein Exemplar desselben Typs und Modells vor dem 2. Dezember 2027 in Verkehr gebracht oder in Betrieb genommen, greifen die Pflichten erst, wenn die Konzeption des Systems danach erheblich verändert wird (siehe „Aktueller Stand und Ausblick“).

Häufige Missverständnisse

Rund um den Begriff halten sich einige Fehlannahmen, die in der Praxis teuer werden können.

„Hochrisiko heißt verboten." Falsch. Verbotene Praktiken sind eine eigene, höhere Stufe (etwa Social Scoring oder Emotionserkennung am Arbeitsplatz). Hochrisiko-Systeme sind erlaubt, aber an Auflagen gebunden.

„Das betrifft nur die Tech-Konzerne, die KI entwickeln." Falsch. Der AI Act unterscheidet zwischen Anbietern und Betreibern. Auch wer KI nur einsetzt, ist Betreiber und hat Pflichten.

„Wenn der Anbieter konform ist, bin ich aus dem Schneider." Nur teilweise. Die Anbieter-Konformität ist Voraussetzung, aber die Betreiberpflichten (menschliche Aufsicht, korrekte Nutzung, Meldepflichten) bleiben beim einsetzenden Unternehmen.

Anbieter und Betreiber: wer trägt welche Verantwortung

Der AI Act verteilt die Pflichten rund um ein Hochrisiko-System auf zwei Rollen, und das Verständnis dieser Trennung entscheidet darüber, wer im Ernstfall haftet. Der Anbieter ist, wer das System entwickelt oder entwickeln lässt und unter eigenem Namen in Verkehr bringt. Ihn treffen die schwersten Pflichten: Konformitätsbewertung, technische Dokumentation, Qualitätsmanagement, Registrierung in der EU-Datenbank und die Beobachtung des Systems nach dem Inverkehrbringen.

Der Betreiber ist, wer das System im eigenen Betrieb einsetzt. Seine Pflichten sind schlanker, aber keineswegs trivial: Er muss das System gemäß der Gebrauchsanweisung verwenden, eine kompetente menschliche Aufsicht sicherstellen, die Eingabedaten im Rahmen seiner Kontrolle relevant halten, die automatisch erzeugten Protokolle aufbewahren und schwerwiegende Vorfälle melden. Dazu kommen Informationspflichten: Arbeitgeber informieren Arbeitnehmervertretung und betroffene Beschäftigte, bevor sie ein Hochrisiko-System am Arbeitsplatz einsetzen. Wer ein Anhang-III-System für Entscheidungen über Menschen nutzt, muss die Betroffenen darüber informieren, im Recruiting also die Bewerberinnen und Bewerber. In bestimmten Konstellationen kann ein Betreiber sogar selbst zum Anbieter werden, etwa wenn er ein zugekauftes System wesentlich verändert oder unter eigenem Namen weitervertreibt. Dann gehen die Anbieterpflichten auf ihn über.

Für den Mittelstand ist diese Rollenverteilung der zentrale Hebel: Wer Hochrisiko-KI nur einkauft, sollte vertraglich absichern, dass der Anbieter seine Pflichten erfüllt, und parallel die eigenen Betreiberpflichten im Prozess verankern. Beides zusammen ergibt erst die belastbare Compliance.

Wie sich Unternehmen vorbereiten

Auch wenn die Fristen verschoben wurden, ist die Vorbereitung kein Projekt, das sich auf den letzten Moment verschieben lässt. Bewährt hat sich ein geordnetes Vorgehen: Zuerst ein vollständiges Inventar aller eingesetzten KI-Systeme erstellen, dann jedes System einer Risikoklasse zuordnen, anschließend die wenigen Hochrisiko-Fälle herausarbeiten und für sie die konkreten Pflichten durchgehen. Für jede Hochrisiko-Anwendung lohnt es sich, früh zu klären, ob der Anbieter die Konformität nachweisen kann und wie die menschliche Aufsicht im eigenen Ablauf konkret aussieht. Wer diese Grundlagen schafft, steht zum Geltungsbeginn der Pflichten nicht vor einem Berg, sondern vor einer überschaubaren Restaufgabe.

Aktueller Stand und Ausblick

Die Pflichten für Hochrisiko-Systeme sollten ursprünglich ab dem 2. August 2026 (Anhang III) und ab dem 2. August 2027 (Anhang I) gelten. Der Digital Omnibus zur KI, die Verordnung (EU) 2026/1744, hat diese Termine nach hinten verschoben: für eigenständige Anhang-III-Systeme auf den 2. Dezember 2027, für in Produkte eingebettete Anhang-I-Systeme auf den 2. August 2028. Die Verordnung wurde am 24. Juli 2026 im Amtsblatt der EU veröffentlicht und ist seit dem 27. Juli 2026 in Kraft, also geltendes Recht und kein Entwurf mehr. Hintergrund der Verschiebung ist, dass die unterstützenden technischen Normen und die Aufsichtsinfrastruktur nicht rechtzeitig fertig waren.

Die Kernpflichten aus der Tabelle oben bleiben bestehen, die Verschiebung verschafft vor allem mehr Vorbereitungszeit. Inhaltlich hat der Omnibus einiges präzisiert: Er grenzt Sicherheitskomponenten genauer ab, hat Maschinen in Abschnitt B von Anhang I verschoben und erlaubt neben KMU auch kleinen Midcap-Unternehmen eine vereinfachte technische Dokumentation. Für Bestandssysteme gilt eine Übergangsregel: Hochrisiko-Systeme, die vor dem jeweiligen Stichtag in Verkehr gebracht oder in Betrieb genommen wurden, fallen nur dann unter die Pflichten, wenn ihre Konzeption danach erheblich verändert wird. Maßgeblich ist, wann das erste Exemplar desselben Typs und Modells auf den Markt kam. Systeme, die für Behörden bestimmt sind, müssen spätestens bis zum 2. August 2030 konform sein. Für Betriebe mit einer Hochrisiko-Anwendung bleibt die Empfehlung daher gleich: Bestandsaufnahme und Risikoeinstufung jetzt angehen, statt auf den verschobenen Stichtag zu warten. Wer auf dem neuesten Stand bleiben will, prüft die offiziellen Quellen regelmäßig.

Eine ausführliche, laufend aktualisierte Übersicht der Hochrisiko-Anforderungen findet sich beim EU Artificial Intelligence Act-Projekt, das den Verordnungstext und die zugehörigen Anhänge dokumentiert.

Häufige Fragen

Woran erkenne ich, ob mein KI-System hochriskant ist?
Prüfe, ob der konkrete Einsatzzweck in einem der Anhang-III-Bereiche liegt (z. B. Recruiting, Kreditprüfung, kritische Infrastruktur) oder ob die KI als Sicherheitskomponente in einem nach Anhang I regulierten Produkt steckt, das eine Konformitätsbewertung durch Dritte braucht. Trifft eines zu, ist das System in der Regel hochriskant. Ein Anhang-III-System kann ausnahmsweise nicht hochriskant sein, etwa wenn es nur eine eng gefasste Verfahrensaufgabe erledigt. Diese Einschätzung muss der Anbieter dokumentieren, und er muss das System trotzdem in der EU-Datenbank registrieren. Nimmt das System ein Profiling von Personen vor, ist es immer hochriskant.

Bin ich als bloßer Anwender betroffen?
Ja. Wer ein Hochrisiko-System einsetzt, ist Betreiber und hat eigene Pflichten, vor allem die menschliche Aufsicht, die bestimmungsgemäße Nutzung und die Meldung von Vorfällen.

Ab wann gelten die Pflichten?
Nach dem Digital Omnibus zur KI (Verordnung (EU) 2026/1744, in Kraft seit dem 27. Juli 2026) ab dem 2. Dezember 2027 für eigenständige Anhang-III-Systeme und ab dem 2. August 2028 für in Produkte eingebettete Anhang-I-Systeme. Systeme, die schon vorher auf dem Markt waren, fallen nur bei einer erheblichen Änderung ihrer Konzeption darunter. Für Systeme, die Behörden nutzen sollen, gilt spätestens der 2. August 2030.

Was passiert bei Verstößen?
Der AI Act sieht für Verstöße gegen die Pflichten im Hochrisiko-Bereich Bußgelder von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes vor. Für KMU und Start-ups gilt jeweils der niedrigere Betrag, seit dem Digital Omnibus zur KI auch für kleine Midcap-Unternehmen.

Was ist der erste Schritt zur Compliance?
Eine Bestandsaufnahme aller eingesetzten KI-Systeme und ihre Einstufung in die vier Risikoklassen. Erst wenn klar ist, welche Systeme hochriskant sind, lassen sich die konkreten Pflichten zuordnen.

Passende Leistung

Weiterführende Artikel