Frühere Technologien haben ihre Verbreitung nicht allein durch Technik erreicht, sondern durch Normen, Prüfung und Versicherung, die um sie herum entstanden. Dieser Text betrachtet den rechtlichen Rahmen, der sich in der EU um KI-Agenten bildet, und die praktische Lücke in seiner Mitte.
Drei EU-Regelwerke sind für Organisationen, die KI-Agenten betreiben, besonders wichtig. Sie erfüllen verschiedene Aufgaben und gelten in verschiedenen Situationen. Zusammen gelesen werfen sie dieselbe praktische Frage auf.
Der EU AI Act setzt Pflichten für Hochrisiko-KI, die für die Bereiche in Anhang III ab dem 2. Dezember 2027 gelten. Hochrisiko-Systeme müssen Ereignisse über ihre Lebensdauer automatisch protokollieren (Artikel 12) und so gestaltet sein, dass Menschen sie wirksam beaufsichtigen können (Artikel 14). Betreiber müssen die automatisch erzeugten Protokolle mindestens sechs Monate aufbewahren (Artikel 26). Wie diese Protokolle aufgebaut sein sollen und was sie vertrauenswürdig macht, regelt der Act nur wenig.
Die überarbeitete Produkthaftungsrichtlinie (EU) 2024/2853, die die Mitgliedstaaten bis zum 9. Dezember 2026 umsetzen müssen, behandelt Software einschließlich KI-Systemen als Produkt. Sie erfasst Schäden natürlicher Personen, etwa Körperverletzung, Schäden an privatem Eigentum und den Verlust nicht beruflich genutzter Daten. Gerichte können Beklagte zur Offenlegung relevanter Beweismittel verpflichten und in bestimmten Fällen Fehlerhaftigkeit oder Kausalität vermuten, etwa wenn ein Beklagter Beweismittel nicht offenlegt oder technische Komplexität den Beweis für den Kläger übermäßig erschwert. Haften mehrere Wirtschaftsakteure für denselben Schaden, können sie gesamtschuldnerisch haften.
DORA gilt seit dem 17. Januar 2025 für Finanzunternehmen. Sie müssen das Risiko durch IKT-Drittdienstleister steuern (Artikel 28), wozu Modellanbieter gehören können, und vertraglich Zugangs-, Inspektions- und Prüfrechte sichern (Artikel 30). Für schwerwiegende IKT-Vorfälle gelten enge Fristen: eine Erstmeldung innerhalb von 4 Stunden nach der Einstufung und spätestens 24 Stunden nach Kenntnis, ein Zwischenbericht innerhalb von 72 Stunden und ein Abschlussbericht innerhalb eines Monats.
Keines dieser Gesetze nennt KI-Agenten in dem Sinn, in dem dieser Text den Begriff verwendet. Zusammen machen sie aber eines klar: Wer Agenten einsetzt, wird für deren Handeln einstehen müssen und es in manchen Situationen auch zeigen müssen. Die Aufzeichnung, die das möglich macht, kann das Recht nicht liefern.
Warum der Nachweis bei Agenten schwerer ist
Als in den 1860er-Jahren ein Dampfkessel explodierte, war es schwierig, aber möglich herauszufinden, was passiert war. Die physischen Spuren blieben erhalten. Man konnte das Metall untersuchen, Prüfprotokolle einsehen und Zeugen befragen.
Verursacht ein KI-Agent einen Schaden, sind die Spuren flüchtiger. Angenommen, er gibt eine betrügerische Zahlung frei, stützt sich auf ein veraltetes Richtliniendokument oder wird per Prompt Injection dazu gebracht, Daten preiszugeben. Sein Verhalten entsteht aus dem Zusammenspiel von Modell, Kontext, abgerufenen Dokumenten, einer Folge von Tool-Aufrufen und einer Eingabe, die womöglich ein Angreifer präpariert hat. Das Modell wurde vielleicht inzwischen aktualisiert. Der Kontext wurde vielleicht nie protokolliert. Jedes nachgelagerte System hält womöglich seinen Teil des Ereignisses fest, aber keines die ganze Abfolge.
Im Fall Moffatt gegen Air Canada hat das Civil Resolution Tribunal in British Columbia 2024 die Airline für falsche Auskünfte ihres Website-Chatbots verantwortlich gemacht und das Argument zurückgewiesen, der Chatbot sei für sein Handeln selbst verantwortlich. Es ist eine kanadische Bagatellentscheidung und kein EU-Recht, ihre Logik wird aber oft zitiert: Wer einen Agenten einsetzt, steht für ihn ein. Was passiert, wenn die Organisation nicht rekonstruieren kann, was ihr Agent getan hat, musste der Fall nicht klären.
In der EU macht die Produkthaftungsrichtlinie diese Frage dringlicher. Sind ihre Voraussetzungen erfüllt, kann einem Beklagten, der relevante Beweismittel nicht vorlegen kann, eine Vermutung der Fehlerhaftigkeit oder Kausalität drohen. Fehlende Aufzeichnungen sind dann kein neutraler Umstand.
Verantwortung verteilt auf viele Beteiligte
Im März 2026 hat das britische Digital Regulation Cooperation Forum, in dem CMA, FCA, ICO und Ofcom zusammenarbeiten, ein Foresight Paper zu Agentic AI veröffentlicht. Es ist ausdrücklich keine Politik. Unter anderem weist es darauf hin, dass sich die Verantwortung für das Verhalten eines Agenten auf Modellanbieter, Systemanbieter und einsetzende Organisationen verteilen kann.
Das deckt sich mit der Praxis. Die einsetzende Organisation hat den Agenten vielleicht korrekt konfiguriert, während der Modellanbieter das Modell geändert, ein Tool-Anbieter eine API umgestellt oder jemand eine Datenquelle kompromittiert hat. Jeder hat beigetragen, und keiner kann allein das ganze Bild zeigen.
Aus unserer Sicht ist das weniger eine Frage des Governance-Designs als eine Frage der Beweise. Die Aufzeichnung, mit der sich Verantwortung zuordnen ließe und auf die sich ein Beklagter unter der Produkthaftungsrichtlinie stützen könnte, ist in den meisten Agenten-Einsätzen noch kein Standardbaustein.
Was Zertifizierung zeigen kann und was nicht
Zertifizierung füllt einen Teil der Lücke. AIUC-1 ist ein Zertifizierungsstandard für KI-Agenten, oft als SOC 2 für Agenten beschrieben, mit Anforderungen in sechs Bereichen: Datenschutz, Sicherheit, Safety, Zuverlässigkeit, Verantwortlichkeit und Gesellschaft. Der Standard wird vierteljährlich aktualisiert, das Update für Q2 2026 hat Kontrollen für MCP-Sicherheit und Agenten-Identität ergänzt. ElevenLabs gehört zu den zertifizierten Unternehmen und hat die Zertifizierung mit einer KI-Versicherung verbunden.
Zertifizierung beantwortet eine nützliche Frage: Hat dieses System den Standard zum Testzeitpunkt erfüllt? Das gibt Einkaufsteams ein konkretes Signal, Versicherern einen Ausgangspunkt fürs Underwriting und Aufsichten dokumentierte Sorgfalt.
Ihre Grenze ist die Zeit. KI-Agenten ändern sich laufend. Das Modell wird aktualisiert, das Verhalten driftet, und neue Angriffstechniken tauchen auf. Ein im Februar zertifizierter Agent kann im Juni ein anderes Risiko tragen, ohne dass ein einzelner Fehler passiert ist. Auch ein vierteljährlicher Test zeigt, wie das System am Testtag aussah, nicht, was es am Tag eines Vorfalls getan hat.
Was eine brauchbare Aufzeichnung braucht
Kein Gesetz schreibt genau vor, wie das Verhalten eines Agenten aufzuzeichnen ist. Aus unserer Sicht braucht eine Aufzeichnung, die Vorfallsmeldungen, einen Haftungsstreit oder echte menschliche Aufsicht tragen soll, vier Eigenschaften.
Vollständig. Sie umfasst die Aktionen, Modellaufrufe, Tool-Aufrufe und Datenzugriffe des Agenten, keine Stichprobe. Eine Abfolge aus getrennten Anbieter-Konsolen zusammenzusetzen, ist langsam und lückenhaft.
Durchgehend. Sie existiert ab dem Tag, an dem der Agent live geht. Eine Aufzeichnung, die erst nach einem Vorfall zusammengestellt wird, kann nicht zeigen, dass Kontrollen vorher in Kraft waren.
Unabhängig. Sie hängt nicht von einem Anbieter ab. Ein Protokoll, das nur in der Konsole eines Modellanbieters existiert, deckt nur dessen Teil der Arbeit ab, und in einem Streit mit dem Anbieter hat eine unabhängige Aufzeichnung mehr Gewicht.
Änderungen werden sichtbar. Gewöhnliche Protokolle auf einem System, das der Betreiber kontrolliert, lassen sich spurlos bearbeiten. Wird jeder Eintrag mit dem vorherigen verkettet und beim Schreiben signiert, wird jede spätere Änderung sichtbar.
Zertifizierungsstellen beschreiben, wie gutes Verhalten aussieht, und Versicherer bepreisen das verbleibende Risiko. Beides funktioniert besser mit einer solchen Aufzeichnung darunter, und die meisten Agenten-Einsätze haben noch keine.
Wie es weitergeht
Hartford Steam Boiler hat nicht auf ein Gesetz gewartet, das Kesselprüfungen vorschreibt. Das Unternehmen baute Prüfkapazitäten auf, weil es zahlte, wenn Kessel versagten. Versicherer, die heute KI-Agenten decken, haben einen ähnlichen Anreiz, und wir erwarten, dass sie bessere Verhaltensaufzeichnungen verlangen, je komplexer Schadensfälle werden.
Eine durchgehende, unabhängige und manipulationssichtbare Aufzeichnung des Agentenverhaltens ist aus unserer Sicht das, was dieser Markt erwarten wird, weniger als Compliance-Punkt denn als Grundlage, auf der Haftung und Versicherung so funktionieren können wie gedacht.
Kyde
Kyde bewertet, wie sich KI-Agenten verhalten. Kyde Control führt eine durchgehende, unabhängige, verkettete Aufzeichnung jeder Agentenaktion, die darüber läuft, über alle Anbieter hinweg. Diese Aufzeichnung kann Ihre Nachweise unter der Produkthaftungsrichtlinie und Ihre DORA-Meldungen stützen. Die Pflichten selbst erfüllt sie nicht.
Kyde Score ansehen →