Manche Fehler von Agenten sind leise. Eine Schleife nicht. Der Agent ruft dasselbe Tool mit denselben Argumenten auf, bekommt ein Ergebnis, das er nicht akzeptiert, und ruft es noch einmal auf. Jeder Versuch kostet einen Modell- und einen Tool-Aufruf. Läuft das über Nacht, zeigt es sich als hängender Job, als doppelte Bestellung oder als Rechnung Ihres Modellanbieters.
Dieser Text erklärt, warum Agenten in Schleifen geraten, warum das naheliegende Zählen von Wiederholungen nicht funktioniert und wie man eine Schleife früh erkennt, ohne zu lesen, was der Agent geschrieben hat.
Warum Agenten hängen bleiben
Schleifen haben einige typische Ursachen, und die meisten sind gewöhnlich:
- Ein Tool, das immer gleich scheitert. Die API läuft in einen Timeout oder liefert einen Fehler, den der Agent nicht versteht, und er versucht es unverändert erneut.
- Ein Ergebnis, das der Agent nicht als erledigt erkennt. Die Aufgabe hat geklappt, aber nichts in der Antwort sagt das dem Modell, also schickt es noch einmal ab.
- Ein Plan, der sich im Kreis dreht. Zwei Schritte, die sich gegenseitig rückgängig machen, sodass der Agent zwischen ihnen pendelt.
- Manipulation. Seltener bringen eingeschleuste Anweisungen einen Agenten absichtlich dazu, eine Aktion zu wiederholen.
Wiederholungen sind an sich kein Fehler. Agenten sollen sich von vorübergehenden Fehlern erholen. Das Problem ist Wiederholung ohne Fortschritt.
Warum Wiederholungen zählen das falsche Maß ist
Die erste Idee ist meist, zu zählen, wie oft ein Tool in einem Lauf vorkommt, und ab einer Schwelle zu alarmieren. In der Praxis schlägt das bei fast jedem Agenten an. Agenten suchen, lesen, suchen wieder und lesen wieder, das gehört zur Arbeit. Dasselbe Tool viele Male in einem Lauf aufzurufen, ist Erkundung, kein Fehler.
Zwei Details machen das Signal brauchbar. Erstens die Argumente vergleichen, nicht nur den Tool-Namen: Nach fünf verschiedenen Dingen zu suchen, ist Arbeit, fünfmal nach demselben zu suchen, nicht. Zweitens aufeinanderfolgende Wiederholungen zählen, nicht Wiederholungen irgendwo im Lauf. Ein Agent, der später zu einem Aufruf zurückkehrt, hat dazwischen meist etwas gelernt. Ein Agent, der dreimal hintereinander denselben Aufruf macht, nicht.
Eine Schleife erkennen, ohne Inhalte zu lesen
Argumente zu vergleichen, scheint zu verlangen, dass man sie liest, und das wollen viele Teams keinem Überwachungsdienst erlauben. Ein Hash löst das. Der Agent oder seine Instrumentierung berechnet einen Hashwert der Parameter jedes Tool-Aufrufs und schickt nur diesen. Zwei identische Aufrufe ergeben denselben Hash, auf den Inhalt lässt er nicht schließen.
Mit Tool-Name und Parameter-Hash an jedem Aufruf wird eine Schleife zu einer einfachen, deterministischen Regel: dasselbe Tool mit demselben Hash, direkt hintereinander in einem Lauf. Dafür braucht es weder eine Lernphase noch ein Modell, das urteilt, deshalb greift die Regel ab dem ersten Lauf.
Wie Kyde Score mit Schleifen umgeht
- Kyde Score zählt aufeinanderfolgende Aufrufe mit demselben Tool und demselben Parameter-Hash (
kyde.args.digest) innerhalb eines Laufs. - Ab dem dritten identischen Aufruf in Folge gibt es einen Schleifen-Alarm, und der Score des Agenten wird auf watch begrenzt.
- Ab zehn identischen Aufrufen in Folge gilt die Schleife als außer Kontrolle, und der Score fällt auf deviating.
- Die Schleifenerkennung wartet nicht auf eine Baseline. In der Lernphase eines Agenten löst eine außer Kontrolle geratene Schleife direkt einen Alarm per Webhook und Mail aus.
Zwei Grenzen gehören dazu. Ohne Parameter-Hash am Aufruf zählt Kyde Wiederholungen gar nicht, weil es einen identischen Aufruf nicht von einem berechtigten zweiten Aufruf desselben Tools unterscheiden kann. Die Standard-Instrumentierungen von OpenTelemetry senden diesen Hash heute nicht, er muss also als Attribut am Tool-Aufruf ergänzt werden. Und Kyde beobachtet nicht Ihre Rechnung: Es liest weder Token-Zahlen noch Kosten. Es beobachtet die Aufrufe, die sie verursachen.
Ein Schleifen-Alarm sagt Ihnen, dass ein Agent hängt. Den Lauf zu beenden, liegt bei Ihnen oder bei Kyde Control, dem Gateway im Datenpfad des Agenten, das in Ihrer eigenen Umgebung läuft und den nächsten Aufruf zurückhalten kann. Score und Control im Vergleich (Englisch).
Kyde
Kyde Score meldet einen Agenten, der denselben Aufruf wiederholt: ab drei identischen Aufrufen in Folge mit einem Alarm, ab zehn als außer Kontrolle geratenen Lauf. Das greift ab dem ersten Lauf, liest nur einen Hash der Parameter und schickt einen signierten Webhook, wenn der Score das Band wechselt.
Kyde Score ansehen →