↑ Wissen / Governance

Governance für KI-Agenten: der Leitfaden für Unternehmen

Governance · 12 Min. Lesezeit

Stand:

Geprüft: Gesetzestexte, HBR-Artikel über das Abstract, NIST Concept Note, DRCF über Kanzleikommentare

KI-Agenten erledigen heute echte Aufgaben, rufen echte Systeme auf und treffen Entscheidungen mit echten Folgen. Dieser Leitfaden erklärt, was es heißt, sie zu steuern, wo gängige Ansätze zu kurz greifen und was die Infrastruktur leisten muss, besonders in regulierten Branchen.

Was Governance für KI-Agenten ist

Governance für KI-Agenten ist die Kombination aus technischen Kontrollen und organisatorischen Regeln, die festlegt, was Agenten tun dürfen, prüft, dass sie diese Grenzen einhalten, und aufzeichnet, was sie tatsächlich getan haben.

Sie ist etwas anderes als KI-Ethik, Forschung zur Modellsicherheit oder Einstellungen innerhalb einer Anwendung. So wie wir den Begriff verwenden, ist Governance Betriebsinfrastruktur: eine Ebene zwischen einem Agenten und den Systemen, auf die er zugreift, die Regeln anwendet, während Aktionen passieren, und jede Entscheidung aufzeichnet.

Die Modellevaluierung fragt, ob ein System sicher ist. Governance stellt eine andere Frage: Können wir zeigen, was dieser Agent getan hat, in wessen Auftrag, und dass er innerhalb seines Mandats geblieben ist? Die beiden Fragen brauchen unterschiedliche Werkzeuge.

Ein Artikel in der Harvard Business Review von Rahul Telang, Muhammad Zia Hydari und Raja Iqbal aus dem Jahr 2026 beschreibt vier organisatorische Reibungspunkte beim Skalieren von KI-Agenten: jedem Agenten eine eigene Identität mit begrenzten Berechtigungen geben, sicherstellen, dass Agenten mit verlässlichen Daten arbeiten, deterministische Kontrollen um probabilistische Ausgaben legen und Verantwortlichkeit über Audit Trails und klare Zuständigkeiten sichern. Governance-Infrastruktur adressiert jeden dieser Punkte.

Wo bestehende Ansätze zu kurz greifen

Die meisten Teams beginnen mit Werkzeugen, die sie schon haben. Jedes ist nützlich, keines wurde allein für diese Aufgabe gebaut.

Kontrollen der Modellanbieter. Anbieter wie OpenAI und Anthropic bieten Nutzungs-Dashboards, Rate Limits, Inhaltsrichtlinien und einiges an Protokollierung. Das hilft bei Abrechnung und Missbrauchserkennung. Ein Protokoll, das ein Anbieter nach seinen Aufbewahrungsregeln in seiner Konsole führt, deckt aber nur diesen Anbieter ab, und die meisten Agenten-Flotten nutzen mehrere.

Prüfungen in der Anwendung. Prompt-Gestaltung, Ausgabefilter und Validierung vor einer Aktion sind sinnvolle Schutzmaßnahmen. Sie leben aber in derselben Anwendung wie der Agent. Eine Prompt Injection, ein Modell-Update oder eine Konfigurationsänderung kann sie schwächen, und die Belege, die sie erzeugen, liegen im selben System, das gerade untersucht wird.

Observability-Werkzeuge. Tracing-Werkzeuge zeigen Schritt für Schritt, was ein Agent getan hat, und sind wertvoll für Fehlersuche und Performance. Sie sind zum Beobachten gebaut und blockieren in der Regel keine Aktion, bevor sie ausgeführt wird.

Gemeinsam ist diesen Ansätzen, dass jeder eine Komponente abdeckt. Was fehlt, ist eine Ebene außerhalb des Agenten, die jede Aktion sieht, unabhängig von Anbieter oder Framework.

Vier Anforderungen

Aus unserer Sicht braucht wirksame Governance vier Eigenschaften. Jede ist notwendig, keine reicht allein.

Identität. Jeder Agent braucht eine Identität, die außerhalb des Agenten vergeben und geprüft wird, damit sich jede Aktion einem bestimmten Agenten und einem bestimmten Verantwortlichen zuordnen lässt. Eine Identität, die der Agent selbst behauptet, ist leicht zu fälschen.

Rahmen. Jeder Agent braucht definierte Grenzen: welche Daten er lesen, welche Aktionen er ausführen, welche Anbieter und Tools er aufrufen darf. Am besten funktionieren diese Grenzen als maschinenlesbare Regeln, die außerhalb des Agenten durchgesetzt und ohne neues Deployment geändert werden können.

Durchsetzung. Manche Aktionen sollten verhindert werden, bevor sie passieren, nicht erst danach gemeldet. Durchsetzung heißt, dass eine Aktion außerhalb der Regeln, etwa der Zugriff auf eine gesperrte Quelle, zurückgehalten oder blockiert wird, bevor sie das Zielsystem erreicht.

Aufzeichnung. Jede Aktion braucht einen Eintrag, der getrennt vom Agenten geführt wird und spätere Änderungen sichtbar macht. Am nützlichsten ist er, wenn er neben Ein- und Ausgaben auch den Kontext festhält: was der Agent abgerufen hat, welche Tools er aufgerufen hat und welche Regel galt.

Diese Anforderungen hängen voneinander ab. Identität ohne Durchsetzung sagt, wer gehandelt hat, kann es aber nicht verhindern. Durchsetzung ohne Aufzeichnung lässt offen, was erlaubt oder blockiert wurde. Und eine Aufzeichnung innerhalb des beschriebenen Systems ist weniger verlässlich, wenn etwas schiefgeht.

Der regulatorische Rahmen

Mehrere Regelwerke verlangen inzwischen Teile davon, auch wenn keines das Wort Governance in diesem Sinn verwendet.

EU AI Act (Verordnung 2024/1689). Hochrisiko-Systeme, unter anderem in Beschäftigung, Kreditvergabe, bestimmten Versicherungstarifen, Bildung, kritischer Infrastruktur und grundlegenden Diensten, müssen Ereignisse automatisch protokollieren (Art. 12) und wirksame menschliche Aufsicht ermöglichen (Art. 14). Betreiber müssen die Protokolle mindestens sechs Monate aufbewahren (Art. 26). Für Systeme nach Anhang III gelten diese Pflichten ab dem 2. Dezember 2027.

DORA. Seit Januar 2025 verlangt DORA von Finanzunternehmen einen Prozess für IKT-Vorfälle (Art. 17), das Management von Risiken durch IKT-Drittdienstleister wie Modellanbieter (Art. 28) und vertragliche Zugangs- und Prüfrechte (Art. 30). Für KI-Agenten spricht das für eine Aufzeichnung der Agentenaktivität, die nicht vom Modellanbieter abhängt.

Britische Aufsichten. Im März 2026 hat das Digital Regulation Cooperation Forum (CMA, FCA, ICO und Ofcom) ein Foresight Paper zu Agentic AI veröffentlicht. Es ist ausdrücklich keine Politik, stellt aber fest, dass bestehendes Recht für Agenten weiter gilt, und weist darauf hin, dass sich die Verantwortung auf Modellanbieter, Systemanbieter und Einsetzende verteilen kann. Was das DRCF-Papier sagt →

NIST. Im April 2026 hat NIST eine Concept Note für ein Profil des AI Risk Management Framework zu kritischer Infrastruktur veröffentlicht. Zu ihren Beispielen gehören Agenten mit getesteten und verifizierten Leitplanken und Systeme mit nachvollziehbaren, prüfbaren Empfehlungen. Wie NIST, EU AI Act und NIS-2 zusammenpassen →

Diese Regelwerke wurden getrennt geschrieben und setzen unterschiedliche Pflichten. Sie weisen aber in eine ähnliche Richtung: wissen, was die eigenen Agenten getan haben, eingreifen können und eine verlässliche Aufzeichnung führen.

Was Governance-Infrastruktur leisten muss

Unabhängig von den Agenten, die sie steuert. Die Ebene sollte sich nicht darauf verlassen, dass Agenten sich selbst protokollieren, ihre eigenen Grenzen durchsetzen oder ihre eigene Identität bezeugen. Sie sitzt zwischen den Agenten und den Systemen, auf die sie zugreifen, und behandelt jede Aktion selbst.

Unabhängig vom Modellanbieter. Viele Flotten nutzen mehrere Anbieter gleichzeitig. Eine Ebene, die nur einen abdeckt, lässt den Rest ungesteuert. Sie muss über alle hinweg funktionieren, ohne Änderungen an den Agenten.

Handlungsfähig, nicht nur beobachtend. Observability hält fest, was passiert ist. Governance entscheidet auch, was passieren darf, und kann eine Aktion zurückhalten oder blockieren, bevor sie ihr Ziel erreicht.

Eine Richtlinie auf Papier stoppt keinen Agenten um drei Uhr nachts. Sie hält erst, wenn man im laufenden Betrieb bemerkt, dass ein Agent etwas anderes tut als seine Aufgabe, und eine Kontrolle außerhalb des Agenten ihn stoppen kann. Wie Agenten vom Kurs abkommen → · Ein Kill Switch für KI-Agenten →

Der Anbietermarkt

Der Markt für Werkzeuge zur Steuerung von KI-Agenten wächst schneller als sein Vokabular. Produkte aus drei Kategorien nennen sich „AI Governance“, lösen aber unterschiedliche Probleme auf unterschiedlichen Ebenen.

  • KI-Sicherheitswerkzeuge (etwa Zenity, Lakera und Prompt Security) prüfen Eingaben, Ausgaben und Agentenaktivität auf Angriffe wie Prompt Injection und Datenabfluss.
  • Observability-Werkzeuge (etwa LangSmith, Langfuse und Arize) erfassen Traces der Agentenausführung für Fehlersuche, Evaluierung und Performance-Analyse.
  • Governance-Infrastruktur (etwa Kyde) wendet Verhaltensregeln an, während Aktionen passieren, führt eine manipulationssichtbare Aufzeichnung jeder Aktion, die darüber läuft, und arbeitet unabhängig von den Agenten.

Die Kategorien ergänzen sich. Ein Sicherheitswerkzeug ersetzt keine Aufzeichnung dessen, was autorisiert wurde, und ein Observability-Werkzeug hält keine Aktion zur Prüfung zurück.

Kyde

Kyde lässt Teams KI-Agenten echte Befugnisse geben und trotzdem zeigen, was diese Agenten getan haben und in welchem Mandat. Kyde Control bietet Agenten-Identität, Verhaltensgrenzen, Blockieren vor der Ausführung und eine manipulationssichtbare Aufzeichnung jeder Aktion, die darüber läuft.

Kyde Score ansehen →