↑ Wissen / Sicherheit

Rogue AI Agents: gekaperte und entgleiste KI-Agenten erkennen

Sicherheit · 5 Min. Lesezeit

Stand:

Geprüft: OWASP Top 10 for Agentic Applications, Erkennungslogik gegen den Code von Kyde Score

„Rogue“ klingt dramatisch, die Wirklichkeit ist es meist nicht. Ein Agent gerät außer Kontrolle, wenn er etwas anderes tut als das, wofür er eingesetzt wurde. Manchmal steckt ein Angreifer dahinter. Öfter sind es ein Modell-Update, ein defektes Tool oder geänderte Daten. Das Ergebnis ist dasselbe: Ein Agent mit echten Berechtigungen handelt außerhalb seiner Aufgabe, und meist merkt es niemand sofort.

Diese Seite ordnet die häufigsten Arten, wie Agenten vom Kurs abkommen, beschreibt, wie jede in den Tool-Aufrufen aussieht, und was es braucht, um sie zu bemerken und zu stoppen.

Vier Arten, vom Kurs abzukommen

Gekapert. Anweisungen, versteckt in einer Webseite, einer Mail oder einer Datei, lenken den Agenten auf das Ziel eines Angreifers um. OWASP nennt Agent Goal Hijack an erster Stelle seiner Top 10 für agentische Anwendungen. In den Tool-Aufrufen zeigt sich das oft als Tool, das der Agent für diese Aufgabe nie benutzt hat. Indirekte Prompt Injection erkennen →

Hängen geblieben. Der Agent wiederholt denselben Aufruf ohne Fortschritt: ein scheiterndes Tool, ein Ergebnis, das er nicht als erledigt erkennt, ein Plan, der sich im Kreis dreht. Jede Wiederholung kostet Geld und kann echte Aktionen verdoppeln. KI-Agenten in der Endlosschleife erkennen →

Gedriftet. Niemand hat angegriffen, aber der Agent verhält sich anders als letzten Monat. Ein Anbieter hat das Modell aktualisiert, ein Prompt wurde geändert, eine Datenquelle hat sich verschoben. Jeder einzelne Lauf wirkt plausibel, die Änderung zeigt sich erst im Vergleich mit der Historie des Agenten. Behavioral Drift bei AI Agents → Drift erkennen mit Kyde Score (Englisch) →

Übergriffig. Der Agent tut genau, was ihm gesagt wurde, mit Berechtigungen, die er nicht hätte haben sollen. Das ist weniger ein Erkennungs- als ein Designproblem: Minimale Rechte auf Tools und Daten begrenzen, was jeder der drei anderen Fehler anrichten kann.

Was sie gemeinsam haben

In allen vier Fällen ändern sich die Aktionen des Agenten, bevor jemand einen Bericht darüber liest. Welche Tools er aufruft, in welcher Reihenfolge, wie oft und mit welchen Argumenten, ist in Telemetrie sichtbar, die die meisten Agenten schon erzeugen. Damit ist die Abfolge der Aktionen der praktischste Ort zum Hinsehen, und das geht, ohne Prompts oder Antworten zu lesen.

Ob eine Abfolge ungewöhnlich ist, muss am Agenten selbst gemessen werden. Wir finden, das sollte deterministisch geschehen, als reproduzierbare Zahl statt als Meinung eines zweiten Modells. LLM-as-a-Judge oder deterministische Detektoren →

Bemerken ist die halbe Arbeit

Ein Detektor sagt, dass sich etwas geändert hat. Bei manchen Agenten reicht das: Jemand sieht nach und behebt es. Bei Agenten, die Geld bewegen, Datensätze ändern oder mit Kunden sprechen, kann die Zeit zwischen Alarm und Reaktion zu lang sein. Sie brauchen eine Möglichkeit, den Agenten zu stoppen, die nicht davon abhängt, dass der Agent mitspielt. Ein Kill Switch für KI-Agenten →

Für Sicherheits- und Compliance-Teams wird Governance genau hier praktisch. Eine Richtlinie, die festlegt, was ein Agent darf, ist ein Anfang. Im laufenden Betrieb zu sehen, wenn er etwas anderes tut, und ihn stoppen zu können, sorgt dafür, dass die Richtlinie hält. Governance für KI-Agenten →

Kyde

Kyde Score lernt aus den eigenen OpenTelemetry-Tool-Aufrufen das normale Verhalten jedes Agenten und meldet Schleifen, Drift und die neuen Tools, zu denen ein gekaperter Agent greift, mit deterministischen Detektoren. Kyde Control ergänzt ein Gateway in Ihrer Umgebung, das einen Agenten oder ein Tool sperren kann.

Kyde Score ansehen →