Das EU-Recht legt zunehmend fest, wer für Fehler von KI-Agenten einsteht, und Versicherer haben begonnen, das Risiko zu decken. Beides hängt davon ab, zeigen zu können, was ein Agent tatsächlich getan hat. Dieser Leitfaden erklärt, wie die Teile zusammenpassen.
Warum das Thema jetzt wichtig ist
KI-Agenten haben das Prototypen-Stadium hinter sich. Sie buchen Reisen, verarbeiten Rechnungen, prüfen Verträge und leiten Support-Anfragen weiter, und in vielen Abläufen prüft kein Mensch jede Aktion, bevor sie passiert.
Je folgenreicher die Arbeit, desto teurer die Fehler. Ein Agent, der eine betrügerische Zahlung freigibt, sich auf ein veraltetes Richtliniendokument stützt oder per Prompt Injection dazu gebracht wird, Daten preiszugeben, schafft mehr als ein technisches Problem. Irgendjemand wird gebeten werden, den Schaden zu bezahlen.
Daraus folgen zwei Fragen: Wer haftet, und kann jemand zeigen, was passiert ist? In der EU prägen der AI Act, die überarbeitete Produkthaftungsrichtlinie und für Finanzunternehmen DORA die Antwort. Versicherer bieten erste Deckungen an. Was in den meisten Einsätzen noch fehlt, ist eine verlässliche Aufzeichnung des Agentenverhaltens, mit der Juristen und Underwriter gleichermaßen arbeiten können.
Der rechtliche Rahmen
Drei EU-Regelwerke sind für die Haftung bei KI-Agenten besonders wichtig. Sie erfüllen verschiedene Aufgaben: Eines setzt Pflichten für Hochrisiko-KI, eines regelt den Ersatz von Schäden durch fehlerhafte Produkte, eines setzt Regeln zur digitalen Resilienz von Finanzunternehmen.
EU AI Act, Artikel 12, 14, 26. Hochrisiko-Systeme müssen Ereignisse über ihre Lebensdauer automatisch protokollieren (Art. 12) und für wirksame menschliche Aufsicht gestaltet sein (Art. 14). Betreiber müssen die automatisch erzeugten Protokolle mindestens sechs Monate aufbewahren (Art. 26). Das gilt für die Bereiche nach Anhang III, darunter Personalauswahl, Kreditwürdigkeit, die Preisgestaltung bei Lebens- und Krankenversicherungen sowie kritische Infrastruktur, ab dem 2. Dezember 2027.
Produkthaftungsrichtlinie (EU) 2024/2853. Sie behandelt Software einschließlich KI-Systemen als Produkt mit verschuldensunabhängiger Haftung für Schäden natürlicher Personen. Gerichte können Beklagte zur Offenlegung relevanter Beweismittel verpflichten und in bestimmten Fällen Fehlerhaftigkeit oder Kausalität vermuten, etwa wenn ein Beklagter Beweismittel nicht offenlegt oder wenn technische Komplexität den Beweis übermäßig erschwert. Mehrere haftende Wirtschaftsakteure können gesamtschuldnerisch haften. Die Mitgliedstaaten müssen die Richtlinie bis zum 9. Dezember 2026 umsetzen.
DORA. Gilt seit dem 17. Januar 2025 für Finanzunternehmen. Sie müssen das Risiko durch IKT-Drittdienstleister steuern (Art. 28), auch durch Modellanbieter, und vertraglich Zugangs-, Inspektions- und Prüfrechte sichern (Art. 30). Schwerwiegende IKT-Vorfälle sind schnell zu melden: eine Erstmeldung innerhalb von 4 Stunden nach der Einstufung und spätestens 24 Stunden nach Kenntnis, ein Zwischenbericht innerhalb von 72 Stunden und ein Abschlussbericht innerhalb eines Monats.
Verteilte Verantwortung. Das britische Digital Regulation Cooperation Forum (CMA, FCA, ICO und Ofcom) hat in seinem Foresight Paper zu Agentic AI vom März 2026 darauf hingewiesen, dass sich die Verantwortung für das Verhalten eines Agenten auf Modellanbieter, Systemanbieter und einsetzende Organisationen verteilen kann. Das erschwert die Zuordnung eines konkreten Ergebnisses und ist ein weiterer Grund, als einsetzende Organisation eine eigene Aufzeichnung zu führen.
Welche Deckungen es heute gibt
Der Markt ist jung. Einige etablierte Versicherer bieten heute Produkte an, vieles andere ist noch im Entstehen.
- Munich Re, aiSure: Leistungsgarantie für KI-Modelle, angeboten seit 2018.
- HSB (Munich Re): Haftpflichtdeckung für KI-Risiken kleiner und mittlerer Unternehmen, eingeführt im März 2026 in den USA.
- Lloyd's-Markt: Spezialdeckungen, Bedingungen je nach Syndikat.
- Parametrische Strukturen: Auszahlung bei vorab definierten Leistungs- oder SLA-Schwellen, im Entstehen.
- Cyber-Versicherer: Cyber-Policen und KI-Erweiterungen für Incident Response und Betriebsunterbrechung, je nach Versicherer unterschiedlich.
Eine Entwicklung, die sich zu beobachten lohnt, sind parametrische Deckungen. Klassische Haftpflichtdeckung verlangt den Nachweis, dass ein bestimmtes System einen bestimmten Schaden verursacht hat, was schwer ist, wenn mehrere Parteien zum Verhalten eines Agenten beitragen. Eine parametrische Police zahlt stattdessen, wenn eine vorab definierte Bedingung eintritt, etwa wenn die Leistung unter eine Schwelle fällt oder ein SLA verletzt wird, ohne Streit über die Kausalität.
Diese Struktur passt gut zu KI-Agenten, vorausgesetzt, beide Seiten vertrauen der Messung. Der Versicherer muss nicht rekonstruieren, was passiert ist. Er muss prüfen, ob die überwachte Kennzahl die vereinbarte Schwelle überschritten hat, und dafür braucht es durchgehendes und unabhängiges Monitoring.
Die Zertifizierungsebene: AIUC-1
AIUC-1 ist ein Zertifizierungsstandard für KI-Agenten, oft als SOC 2 für Agenten beschrieben. Er wurde mit technischen Beiträgen unter anderem von Cisco, der Cloud Security Alliance, Orrick und MITRE entwickelt und gibt Einkaufsteams und Versicherern ein geprüftes Signal dazu, wie ein Agent gebaut und getestet ist. Seine Anforderungen sind in sechs Bereiche gegliedert: Datenschutz, Sicherheit, Safety, Zuverlässigkeit, Verantwortlichkeit und Gesellschaft.
- Rund 50 Anforderungen in sechs Bereichen (die Zertifizierung von ElevenLabs nennt 51), vierteljährlich aktualisiert.
- Das Update für Q2 2026 hat Kontrollen für MCP-Sicherheit und Agenten-Identität ergänzt.
- Zertifikate gelten zwölf Monate, mit vierteljährlichen technischen Tests, um sie zu behalten.
- ElevenLabs beschreibt sich als erstes Voice-AI-Unternehmen mit AIUC-1-Zertifizierung, verbunden mit einer KI-Versicherung.
Warum Zertifizierung allein nicht reicht
Zertifizierung beantwortet eine Frage: Hat dieses System den Standard zum Zeitpunkt des Tests erfüllt? Für herkömmliche Software reicht das oft, weil sich Systeme in geplanten Release-Zyklen ändern und der Abstand zwischen Audit und heute klein bleibt.
KI-Agenten ändern sich häufiger und weniger sichtbar. Das zugrunde liegende Modell wird aktualisiert, Behavioral Drift baut sich über die Zeit auf, und neue Angriffstechniken tauchen auf, die das Audit nicht getestet hat. Ein im Februar zertifizierter Agent kann im Juni ein spürbar anderes Risiko tragen, ohne dass ein einzelner Fehler passiert ist.
AIUC-1 trägt dem mit vierteljährlichen Tests Rechnung. Auch ein vierteljährlicher Test ist aber eine Momentaufnahme eines Systems, das ständig läuft. Er zeigt, wie sich das System am Testtag verhalten hat, nicht, was es am Tag eines Vorfalls getan hat.
Das Recht weist in dieselbe Richtung. Der EU AI Act verlangt von Hochrisiko-Systemen, Ereignisse über ihre gesamte Lebensdauer automatisch zu protokollieren, nicht nur zum Audit. Und unter der Produkthaftungsrichtlinie sagt ein Zertifizierungsbericht über den Zustand vier Monate vor einem Vorfall wenig darüber aus, was an diesem Tag passiert ist.
Die Kfz-Versicherung bietet einen nützlichen Vergleich. Vor der Telematik bewerteten Versicherer das Risiko über Ersatzgrößen wie Alter, Wohnort und Fahrzeugtyp, weil sie das Fahren nicht direkt beobachten konnten. Nutzungsbasierte Tarife ergänzten Daten darüber, wie Menschen tatsächlich fahren. Wir erwarten, dass sich die Versicherung von KI-Agenten ähnlich entwickelt und Verhaltensdaten die Zertifizierung ergänzen, sobald Monitoring verbreitet ist.
Vier Eigenschaften einer brauchbaren Aufzeichnung
Keines dieser Gesetze schreibt genau vor, wie das Verhalten eines Agenten aufzuzeichnen ist. Aus unserer Sicht braucht eine Aufzeichnung, die in einer Vorfallsanalyse, einem Haftungsstreit oder einer Underwriting-Entscheidung bestehen soll, vier Eigenschaften.
Vollständig. Sie umfasst die Aktionen, Modellaufrufe, Tool-Aufrufe und Datenzugriffe des Agenten, keine Stichprobe. Eine Abfolge aus getrennten Anbieter-Konsolen zusammenzusetzen, ist langsam und lückenhaft.
Durchgehend. Sie existiert ab dem Tag, an dem der Agent live geht. Eine Aufzeichnung, die erst nach einem Vorfall zusammengestellt wird, kann nicht zeigen, dass Kontrollen vorher in Kraft waren.
Unabhängig. Sie hängt nicht von einem Anbieter ab. Ein Protokoll, das nur in der Konsole eines Modellanbieters existiert, deckt nur dessen Teil der Arbeit ab, und in einem Streit mit dem Anbieter hat eine unabhängige Aufzeichnung mehr Gewicht.
Änderungen werden sichtbar. Gewöhnliche Protokolle auf einem System, das der Betreiber kontrolliert, lassen sich spurlos bearbeiten. Wird jeder Eintrag mit dem vorherigen verkettet und beim Schreiben signiert, wird jede spätere Änderung sichtbar.
Was Kyde beiträgt
Kyde bewertet, wie sich KI-Agenten verhalten. Kyde Control führt zusätzlich eine durchgehende, manipulationssichtbare Aufzeichnung jeder Agentenaktion, die darüber läuft, also genau die Art von Aufzeichnung, die oben beschrieben ist.
Das Gateway sitzt im Datenpfad zwischen den Agenten und den Systemen, auf die sie zugreifen. Was darüber läuft, wird erfasst, bevor es das Zielsystem erreicht, mit dem vorherigen Eintrag verkettet und unverändert weitergeleitet, ohne Änderungen am Agenten oder beim Modellanbieter. Das Signieren jedes Eintrags mit eigenen Ed25519-Schlüsseln ist eine Enterprise-Funktion. Was das Gateway nicht sieht, zeichnet es nicht auf, deshalb wird die Abdeckung zusammen mit der Aufzeichnung ausgewiesen.
Ein Versicherungsprodukt, das diese Aufzeichnung bepreist, bieten wir nicht an. Was heute läuft, ist die Aufzeichnung, auf der ein solches Produkt aufbauen würde.
Häufige Fragen
Ist das relevant, wenn meine Agenten nicht in einem Hochrisiko-Bereich des AI Act arbeiten? Möglicherweise. Die Hochrisiko-Pflichten gelten ab dem 2. Dezember 2027 für die acht Bereiche in Anhang III. Die Produkthaftungsrichtlinie ist breiter: Sie behandelt Software einschließlich KI unabhängig von der Branche als Produkt. Sie erfasst Schäden natürlicher Personen, etwa Körperverletzung, Schäden an privatem Eigentum und den Verlust nicht beruflich genutzter Daten, nicht aber reine Vermögensschäden zwischen Unternehmen. Können Ihre Agenten solche Schäden verursachen, sind die Offenlegungsregeln und Vermutungen der Richtlinie für Sie relevant.
Wie hängen AIUC-1 und Versicherungsschutz zusammen? Sie beantworten verschiedene Fragen. Die Zertifizierung zeigt einem Versicherer, wie ein System bei Audit und Test aussah. Die Deckung überträgt das verbleibende finanzielle Risiko. Einige zertifizierte Unternehmen, darunter ElevenLabs, haben die Zertifizierung mit einer KI-Versicherung verbunden, die Zertifizierung selbst ist aber keine Police.
Was bedeutet DORA für Aufzeichnungen über Agenten? DORA erwähnt KI-Agenten nicht und schreibt keinen bestimmten Audit Trail für sie vor. Ein Modellanbieter, den ein Finanzunternehmen nutzt, ist aber ein IKT-Drittdienstleister. Ein Protokoll, das nur in der Konsole des Anbieters existiert, hängt von dessen Mitwirkung ab. Eine Aufzeichnung, die das Finanzunternehmen selbst führt, nicht, und das erleichtert Incident Handling und Meldungen.
Was bedeutet der Fall Moffatt gegen Air Canada? 2024 hat das Civil Resolution Tribunal in British Columbia Air Canada für falsche Auskünfte des Website-Chatbots haftbar gemacht und das Argument zurückgewiesen, der Chatbot sei für sein Handeln selbst verantwortlich. Es ist eine kanadische Bagatellentscheidung und kein EU-Recht, ihre Logik wird aber oft zitiert: Wer einen Agenten einsetzt, steht für ihn ein.
Kyde
Kyde Score lernt aus der eigenen Telemetrie, wie sich jeder Agent verhält, und meldet, wenn sich das ändert. Kyde Control ergänzt ein Gateway, das ungewöhnliche Aktionen zurückhält und eine verkettete Aufzeichnung jeder Aktion führt, die darüber läuft.
Kyde Score ansehen →