Ein Agent, der die Welt liest, kann von der Welt Anweisungen bekommen. Eine Webseite, die er zusammenfasst, eine Mail, die er sortiert, oder eine Datei, die er öffnet, kann Anweisungen enthalten, und ein Modell, das Anweisungen gut befolgt, befolgt womöglich auch diese. Das ist indirekte Prompt Injection, und sie ist der Hauptweg zu dem Risiko, das die OWASP Top 10 für agentische Anwendungen an erster Stelle nennen: Agent Goal Hijack.
Dieser Text erklärt, warum sich der Angriff am Eingang schwer stoppen lässt, warum er im anschließenden Verhalten des Agenten leichter zu sehen ist und was diese Art der Erkennung leisten kann und was nicht.
Was indirekte Prompt Injection ist
Bei einer direkten Prompt Injection tippt der Angreifer selbst. Bei einer indirekten spricht er nie mit dem Agenten. Er legt Text dort ab, wo der Agent ihn lesen wird: eine versteckte Zeile auf einer Webseite, ein Absatz in einer Mail-Signatur, ein Kommentar in einem Dokument, ein Feld in einem Support-Ticket. Holt der Agent diesen Inhalt in seinen Kontext, steht der eingeschleuste Text neben der Anfrage des Nutzers, und das Modell kann Daten nicht verlässlich von Anweisungen unterscheiden.
Der Begriff stammt aus einem Paper von Greshake und Kollegen aus dem Jahr 2023 („Not what you've signed up for“), das den Angriff auf LLM-integrierte Anwendungen gezeigt hat. Bei Agenten wiegt er schwerer, weil ein Agent nicht nur antwortet. Er ruft Tools auf: Er verschickt Mails, schreibt Dateien, fragt Datenbanken ab und bewegt Geld.
Warum ein Filter am Eingang nicht reicht
Die erste Abwehr ist meist ein Filter vor dem Modell: ein Klassifikator oder ein Regelwerk, das in den Inhalten, die der Agent gleich liest, nach eingeschleusten Anweisungen sucht. Das lohnt sich. Ein Filter fängt bekannte Muster ab und macht grobe Angriffe teurer.
Seine Grenze ist, dass der Angreifer die Formulierung bestimmt. Anweisungen lassen sich umschreiben, auf mehrere Sätze verteilen, in einer anderen Sprache schreiben oder in Formatierung verstecken, und ein vollständiger Filter müsste jede Variante erkennen. Außerdem muss er Inhalte prüfen, die manche Teams keinem weiteren Dienst schicken können oder wollen.
OWASP schreibt selbst, es sei unklar, ob es einen narrensicheren Schutz gibt, und empfiehlt mehrere Schichten in der Annahme, dass einzelne Versuche durchkommen. Dann zählt, wie schnell man es merkt.
Auf das achten, was der Agent danach tut
Eine erfolgreiche Injection verändert das Verhalten des Agenten, darum geht es ja. Ein Zusammenfassungs-Agent, der plötzlich Mails verschickt, ein Support-Agent, der eine Tabelle abfragt, die er nie angefasst hat, ein Zahlungs-Agent, der an einen neuen Empfänger zahlt: All das ist in den Tool-Aufrufen sichtbar, ohne einen einzigen Prompt zu lesen.
Dafür braucht es einen Maßstab für normales Verhalten, und der ist je Agent verschieden. Ein Recherche-Agent, der fünfzigmal ein Such-Tool aufruft, arbeitet normal. Ein Abrechnungs-Agent, der dasselbe tut, nicht. Die Baseline muss also je Agent aus seinen eigenen Läufen gelernt werden.
- Ein Tool, das der Agent für diese Aufgabe nie benutzt hat. Das schärfste Signal. Ein eingeschleustes Ziel braucht meist eine Fähigkeit, die die ursprüngliche Aufgabe nicht brauchte, und der erste Aufruf ist der Moment für den Alarm.
- Ein abrupter Wechsel im Aufrufmix. Eine plötzliche Änderung, welche Tools in welchem Verhältnis aufgerufen werden, gemessen an der Baseline. CUSUM ist dafür ein statistisches Standardverfahren.
- Eine schleichende Drift. Manche Manipulationen, etwa ein vergifteter Speicher oder eine langsam veränderte Datenquelle, verschieben das Verhalten nach und nach. Ein Vergleich der Tool-Verteilungen über Zeitfenster, etwa mit der Jensen-Shannon-Divergenz, fängt auf, was ein einzelner Lauf nicht zeigt.
Alle drei arbeiten mit Metadaten: welches Tool, in welcher Reihenfolge, in welcher Sitzung. Keines braucht den Inhalt dessen, was der Agent gelesen oder geschrieben hat.
Was dieser Ansatz übersieht
Verhaltenserkennung sieht Änderungen in dem, was ein Agent tut. Eine Injection, die innerhalb seines normalen Musters bleibt, also die üblichen Tools mit unauffälligen Argumenten nutzt, kann unbemerkt bleiben. Daten über ein Tool abfließen zu lassen, das der Agent ohnehin in jedem Lauf aufruft, ist der schwierige Fall.
Außerdem kommt Erkennung naturgemäß danach: Der erste ungewöhnliche Aufruf ist passiert, wenn er gemeldet wird. Darf dieser Aufruf gar nicht erst passieren, braucht es etwas im Datenpfad, das ihn zurückhalten kann, nicht nur einen Alarm. Das ist der Unterschied zwischen Überwachung und Kontrolle.
Beides spricht nicht gegen Erkennung. Eingangsfilter, minimale Tool-Berechtigungen und Verhaltensüberwachung decken verschiedene Fehler ab, und zusammen sind sie stärker als jede Maßnahme allein.
Wo Kyde ansetzt
Kyde Score beobachtet die Verhaltensseite. Es liest Tool-Aufrufe über OpenTelemetry, lernt die Baseline jedes Agenten aus seinen ersten 30 Läufen über mindestens 3 Tage und meldet neue Tools für eine Aufgabe, abrupte Wechsel und schleichende Drift mit deterministischen Detektoren. Prompts und Antworten liest es nie. Wechselt der Score eines Agenten das Band, schickt es einen signierten Webhook.
Score meldet. Einen Aufruf zu stoppen, bevor er ausgeführt wird, übernimmt Kyde Control, ein Gateway im Datenpfad des Agenten, das in Ihrer eigenen Umgebung läuft. Beide im Vergleich (Englisch).
Kyde
Kyde Score lernt aus den eigenen OpenTelemetry-Tool-Aufrufen, wie sich jeder Agent verhält, und meldet den Lauf, in dem er etwas Neues tut: ein Tool, das er für diese Aufgabe nie benutzt hat, einen abrupten Wechsel, eine schleichende Drift. Deterministische Detektoren, kein LLM, keine Prompt-Inhalte.
Kyde Score ansehen →