KI-Governance ist der Rahmen aus Rollen, Prozessen und Kontrollen, mit dem ein Unternehmen den Einsatz von Künstlicher Intelligenz steuert: Wer darf welche KI-Systeme wofür einsetzen, mit welchen Rechten laufen sie, wer verantwortet ihre Ergebnisse, wie werden sie geprüft, überwacht und wieder abgeschaltet. Governance beantwortet damit nicht die Frage, ob KI eingesetzt wird, sondern wie der Einsatz kontrollierbar bleibt.
Der Begriff klingt nach Konzernbürokratie, beschreibt aber etwas sehr Praktisches. Ohne Governance ist jedes KI-Projekt eine Sammlung von Einzelfallentscheidungen: Ein Team kauft ein Tool, ein anderes baut einen KI-Agenten, ein drittes füttert ein Sprachmodell mit Kundendaten. Niemand hat den Überblick, niemand haftet, und der erste Vorfall trifft ein Unternehmen ohne Prozess. Mit Governance gibt es für all das eine definierte Antwort, bevor der Vorfall passiert.
Warum KI-Governance gerade jetzt wichtig wird
Solange KI im Unternehmen ein Chatbot war, der Texte vorschlug, war das Risiko überschaubar: Ein Mensch las den Vorschlag und entschied. Mit agentischer KI ändert sich das grundlegend. Agenten beantworten nicht nur Fragen, sie handeln: Sie schreiben Datensätze, versenden E-Mails, lösen Bestellungen aus. Damit werden aus Ausgabefehlern Handlungsfehler, und aus einem Qualitätsproblem wird ein Betriebsrisiko.
Die Zahlen zeigen beide Seiten dieser Entwicklung. Einerseits wächst die Verbreitung schnell: Laut dem KI-Index Mittelstand von Salesforce und dem Deutschen Mittelstands-Bund (März 2026) nutzen 16,6 Prozent der deutschen KMU bereits KI-Agenten, fast doppelt so viele wie 2024. Andererseits erwartet Gartner, dass über 40 Prozent aller Agentic-AI-Projekte bis Ende 2027 abgebrochen werden. Einer der drei genannten Gründe: unzureichende Risikokontrollen. Genau die sind der Kern von KI-Governance.
Dazu kommt ein Phänomen, das viele Unternehmen unterschätzen: Schatten-KI. Mitarbeiter nutzen längst KI-Tools, ob es eine Richtlinie gibt oder nicht, und laden dabei im Zweifel Kundendaten in Dienste, die nie jemand geprüft hat. Governance heißt deshalb nicht, Nutzung zu verhindern, sondern ihr einen erlaubten, sicheren Weg zu geben. Ein Unternehmen ohne freigegebene Werkzeuge hat keine KI-freie Belegschaft, es hat eine unsichtbare.
Wie teuer fehlende Kontrollen werden können, zeigte im Juli 2025 ein vielzitierter Vorfall: Ein Coding-Agent der Plattform Replit löschte während eines Code-Freeze die Produktionsdatenbank eines SaaS-Projekts mit Datensätzen zu über 1.200 Führungskräften. Der Agent hatte Schreibrechte auf Produktivsysteme und keinen erzwungenen Freigabeschritt. Kein Prompt der Welt ersetzt die Kontrolle, die hier gefehlt hat.
Die Bausteine von KI-Governance
Ein tragfähiger Governance-Rahmen besteht aus sechs Bausteinen. Sie gelten für klassische KI-Anwendungen genauso wie für Agenten, werden bei Agenten aber verpflichtend statt optional:
- Rollen und Verantwortlichkeiten: Jedes KI-System hat einen benannten menschlichen Verantwortlichen, der für Rechtevergabe, Reviews und Vorfälle geradesteht. Ohne diese Rolle verwaist jedes System nach dem Go-Live.
- Rechte- und Zugriffsmodell: KI-Systeme erhalten nur die Rechte, die ihre Aufgabe erfordert (Least Privilege), bei Agenten idealerweise gestuft: erst lesend, dann mit Freigabe (Human-in-the-Loop), dann autonom in engen Limits.
- Identität: Jedes System bekommt eine eigene, unterscheidbare Identität statt geteilter API-Keys. Nur so lässt sich später beantworten, wer was getan hat.
- Logging und Audit: Lückenlose, auswertbare Protokolle über Aktionen, Auslöser und Datenbasis, plus versionierte Prompts und Konfigurationen. Das Log ist die Grundlage jeder Aufarbeitung und jeder Beförderungsentscheidung.
- Prüfung vor und im Betrieb: Adversariales Testen (Red-Teaming) vor dem Go-Live, dazu wiederholbare Eval-Suites, die bei jeder Prompt-Änderung und jedem Modellwechsel erneut laufen. Technische Leitplanken (Guardrails) fangen im Betrieb ab, was Tests nicht verhindern.
- Lifecycle-Management: Ein definierter Weg von der Einführung über regelmäßige Reviews mit Kennzahlen bis zur geordneten Abschaltung: Rechte entziehen, Zugangsdaten rotieren, Logs archivieren.
Identität als Fundament: das Beispiel Microsoft Entra Agent ID
Wie ernst die Industrie den Identitäts-Baustein nimmt, zeigt Microsoft: Entra Agent ID verwaltet KI-Agenten als eigene Identitäten im Unternehmensverzeichnis, mit Sponsor, Besitzer und Lebenszyklus. Agenten tauchen dort auf wie Mitarbeiter-Accounts: Sie haben einen Verantwortlichen, ihre Zugriffe sind nachvollziehbar, und der Zugriff endet, wenn der Agent nicht mehr gebraucht wird. Das Muster ist unabhängig vom Hersteller-Stack sinnvoll: Governance beginnt damit, dass KI-Systeme im selben Verzeichnis stehen wie Menschen, nicht in einer Schatten-Tabelle.
KI-Governance und der EU AI Act
Spätestens mit dem EU AI Act ist KI-Governance keine Kür mehr. Drei Pflichten sind für die Praxis besonders relevant:
KI-Kompetenz (Artikel 4), gültig seit dem 2. Februar 2025: Unternehmen müssen die KI-Kompetenz der Menschen fördern, die KI-Systeme betreiben und nutzen. Der Digital Omnibus hat den Wortlaut 2026 entschärft (von „sicherstellen" zu „fördern"), die Pflicht selbst bleibt bestehen. Dokumentierte, rollenbezogene Schulungen sind der belastbare Weg, sie zu erfüllen.
Transparenz (Artikel 50), gültig ab dem 2. August 2026: Wo Menschen mit einem KI-System interagieren, muss das offengelegt werden. Ein kundenseitiger Support-Agent muss sich also als KI zu erkennen geben.
Hochrisiko-Pflichten (Anhang III), gültig ab dem 2. Dezember 2027: Für eigenständige Hochrisiko-Systeme, etwa im Recruiting oder beim Kreditscoring, gelten dann unter anderem Risikomanagement, Datenqualitäts-Anforderungen und menschliche Aufsicht. Die Verschiebung des ursprünglichen Termins ist ein Aufschub, keine Entwarnung: Wer solche Systeme plant, baut die Governance-Grundlagen jetzt auf, nicht 2027.
Wichtig für die Einordnung: Der AI Act schreibt keinen bestimmten Governance-Rahmen vor. Aber wer die sechs Bausteine oben umgesetzt hat, erfüllt die dokumentations- und aufsichtsbezogenen Pflichten fast nebenbei, weil Verantwortliche, Logs und Prüfprozesse bereits existieren.
Abgrenzung: IT-Governance, Compliance und AI Safety
KI-Governance überschneidet sich mit drei Nachbardisziplinen, ist aber mit keiner identisch. IT-Governance steuert die IT-Landschaft insgesamt (Systeme, Budgets, Sicherheit); KI-Governance ist ihre Erweiterung um die Eigenheiten lernender, probabilistischer Systeme, die auch bei gleicher Eingabe unterschiedlich handeln können. Compliance prüft die Einhaltung externer Regeln (DSGVO, AI Act, Branchenrecht); Governance schafft die Strukturen, mit denen Einhaltung überhaupt nachweisbar wird. AI Safety arbeitet auf Modell-Ebene an sicherem Verhalten der KI selbst; Governance arbeitet auf Organisations-Ebene und setzt den Rahmen, in dem auch ein unperfektes Modell keinen ungebremsten Schaden anrichtet.
So führst du KI-Governance ein: vier Schritte
Der Aufbau folgt in der Praxis fast immer derselben Reihenfolge, unabhängig von der Unternehmensgröße:
Schritt 1, Inventar: Erfasse, welche KI-Systeme bereits im Einsatz sind, offiziell und inoffiziell. Je System: Zweck, Datenzugriff, Schreibrechte, Nutzerkreis. Dieses Inventar ist fast immer länger als erwartet, und allein seine Existenz beendet die Schatten-KI-Phase.
Schritt 2, Risiko-Einstufung: Sortiere die Systeme nach Wirkung: Nur lesend und intern? Kundenkontakt? Schreibrechte auf Geschäftssysteme? Personalbezogene Entscheidungen (Vorsicht: künftige Hochrisiko-Klasse)? Die Einstufung bestimmt, wie viel Kontrolle jedes System braucht, und verhindert, dass harmlose Tools überreguliert und riskante untersteuert werden.
Schritt 3, Rahmen dokumentieren: Richtlinie, Verantwortliche, Rechte-Modell und Prüfprozesse schriftlich festhalten, so kurz wie möglich. Ein Rahmen, den niemand liest, existiert nicht.
Schritt 4, im Betrieb verankern: Reviews terminieren, Logs auswertbar machen, Schulungen nach Artikel 4 dokumentieren, Offboarding-Prozess für abgeschaltete Systeme definieren. Governance lebt im Kalender, nicht im Ordner.
KI-Governance im Mittelstand: pragmatisch statt bürokratisch
Die häufigste Sorge im Mittelstand: Governance klinge nach einem Gremium, das Innovation ausbremst. Das Gegenteil ist richtig, wenn man sie richtig zuschneidet. Ein 50-Personen-Unternehmen braucht kein AI-Board mit Quartalssitzungen. Es braucht vier Dinge, die auf wenige Seiten passen:
- eine kurze KI-Richtlinie: welche Tools sind erlaubt, welche Daten dürfen hinein, was ist tabu;
- einen Verantwortlichen pro produktivem KI-System, namentlich benannt;
- ein Rechte- und Log-Konzept für alles, was schreibend auf Geschäftssysteme zugreift;
- einen festen Review-Termin, an dem Kennzahlen und Vorfälle auf den Tisch kommen.
Diese vier Punkte passen auf zwei Seiten, sind an einem Nachmittag entworfen und decken trotzdem die Fragen ab, an denen Projekte sonst hängen bleiben. Damit ist der Rahmen gesetzt, und er wächst mit: Kommt der erste Agent mit echten Schreibrechten, ergänzt du gestufte Autonomie und Red-Teaming vor dem Go-Live. Kommt ein Multi-Agenten-System, kommen Identitäten und Übergabe-Protokolle dazu. Governance, die so entsteht, beschleunigt Projekte eher, als sie zu bremsen, weil die immer gleichen Fragen (Wer haftet? Welche Rechte? Was passiert bei Fehlern?) nicht in jedem Projekt neu verhandelt werden müssen.
Der beste Zeitpunkt, den Rahmen aufzubauen, ist mit dem ersten produktiven System, nicht nach dem ersten Vorfall. Eine erfahrene KI-Agentur setzt Governance deshalb nicht als separates Beratungsprojekt auf, sondern als Teil der ersten Einführung: Rechtezuschnitt, Logging und Review-Prozess entstehen zusammen mit dem System, das sie kontrollieren sollen.
Häufige Fragen zu KI-Governance
Ist KI-Governance gesetzlich vorgeschrieben?
Nicht als Rahmen unter diesem Namen. Der EU AI Act schreibt aber konkrete Pflichten vor, die ohne Governance-Strukturen kaum erfüllbar sind: KI-Kompetenz seit Februar 2025, Transparenzpflichten ab August 2026, Hochrisiko-Anforderungen ab Dezember 2027. Governance ist der praktikable Weg, diese Pflichten nachweisbar zu erfüllen.
Ab welcher Unternehmensgröße lohnt sich KI-Governance?
Ab dem ersten KI-System, das mit echten Daten oder echten Kunden arbeitet. Der Umfang skaliert mit dem Risiko: Für ein Textvorschlags-Tool reicht eine Richtlinie plus Verantwortlicher, für einen Agenten mit Schreibrechten braucht es Rechte-Stufen, Logs und Tests.
Was ist der Unterschied zwischen KI-Governance und KI-Richtlinie?
Die Richtlinie ist ein Dokument, ein Baustein der Governance. Governance umfasst zusätzlich die gelebten Prozesse: Rechtevergabe, Prüfungen, Reviews, Vorfalls-Aufarbeitung. Eine Richtlinie ohne diese Prozesse ist ein PDF, das niemand durchsetzt.
Wer sollte KI-Governance im Unternehmen verantworten?
Eine Person mit Entscheidungsbefugnis über IT und Prozesse, im Mittelstand oft Geschäftsführung, CTO oder IT-Leitung. Wichtiger als die Position ist die Klarheit: eine benannte Person für den Rahmen, plus je ein Verantwortlicher pro produktivem KI-System.
Bremst Governance nicht die Einführung von KI?
Richtig zugeschnitten beschleunigt sie sie. Projekte scheitern selten an zu vielen Regeln, sondern an ungeklärten Fragen zu Haftung, Rechten und Risiken, die bei jedem Vorhaben neu diskutiert werden. Ein schlanker Rahmen beantwortet sie einmal und macht jedes Folgeprojekt schneller. Die Gartner-Prognose zu abgebrochenen Agenten-Projekten nennt fehlende Risikokontrollen als Abbruchgrund, nicht zu viele.