Ob ein KI-Agent sich so verhalten hat, wie er sollte, lässt sich auf zwei verbreitete Arten automatisch entscheiden. Die eine fragt ein weiteres Modell: Man zeigt ihm den Lauf und lässt es bewerten. Die andere misst: Sie vergleicht den Lauf mit der Historie des Agenten, mit festen Statistiken und Regeln. Beide sind im Einsatz, und sie können Verschiedenes gut.
Diese Seite vergleicht sie an den Eigenschaften, die für die Überwachung von Agenten im Betrieb zählen: Wiederholbarkeit, Kosten, Datenschutz, Angriffsfläche und was jede Methode überhaupt sehen kann.
Wie ein LLM-Judge arbeitet
Ein LLM-Judge ist ein Modell, das per Prompt Ausgaben bewertet, oft anhand eines Bewertungsschemas: War die Antwort richtig, hilfreich, sicher, bei der Aufgabe? Das ist flexibel. Ein Judge kann offene Qualität beurteilen, die keine einfache Kennzahl erfasst, und er braucht keine Historie, um anzufangen.
Seine Schwächen sind dokumentiert. Zheng und Kollegen haben 2023 in dem Paper, das MT-Bench eingeführt hat, gezeigt, dass LLM-Judges die zuerst gezeigte Antwort bevorzugen, längere Antworten bevorzugen und dazu neigen, Ausgaben der eigenen Modellfamilie besser zu bewerten. Mit sorgfältigen Prompts lässt sich das verringern, verschwinden tut es nicht.
Wo der Judge in der Überwachung an Grenzen stößt
- Wiederholbarkeit. Modellausgaben werden gesampelt. Derselbe Lauf kann an verschiedenen Tagen verschiedene Bewertungen bekommen, und selbst bei Temperatur null garantieren Anbieter keine identische Ausgabe. Ein Score, den man nicht reproduzieren kann, ist in einem Review oder Vorfallsbericht schwer zu verteidigen.
- Kosten und Latenz. Jeder bewertete Lauf ist mindestens ein weiterer Modellaufruf. Bei einem viel genutzten Agenten kann der Judge einen spürbaren Teil dessen kosten, was der Agent selbst kostet.
- Inhalte. Um einen Lauf zu bewerten, muss der Judge ihn lesen: Prompts, abgerufene Dokumente, Antworten. Diese Inhalte gehen an ein weiteres Modell und oft an einen weiteren Anbieter.
- Angriffsfläche. Ein Judge liest dasselbe Material wie der Agent. Text, der den Agenten manipulieren soll, lässt sich auch so schreiben, dass er den Judge manipuliert.
Wie deterministische Detektoren arbeiten
Ein deterministischer Detektor wendet eine feste Regel oder Statistik auf das an, was der Agent getan hat. Hat er ein Tool aufgerufen, das er für diese Aufgabe nie benutzt hat? Hat sich der Aufrufmix gegenüber seiner Baseline abrupt verschoben? Ist die Verteilung über die letzten Läufe gedriftet? Hat er denselben Aufruf mehrmals hintereinander wiederholt?
Dieselbe Eingabe ergibt immer dasselbe Ergebnis. Wer Daten und Methode hat, kann die Rechnung wiederholen und kommt auf dieselbe Zahl. Die Detektoren arbeiten mit Metadaten (welches Tool, in welcher Reihenfolge, in welcher Sitzung) und müssen keine Inhalte lesen. Sie sind günstig genug, um bei jedem Aufruf zu laufen.
Wo deterministische Detektoren an Grenzen stoßen
Sie sehen nur, was in den Daten steht. Ein Detektor auf Tool-Aufrufen erkennt nicht, ob eine gut formulierte Antwort sachlich falsch ist oder eine Zusammenfassung das Wesentliche verfehlt. Statistische Detektoren brauchen eine Baseline aus normalen Läufen, bevor sie etwas aussagen, auch wenn einfache Regeln wie eine Schleife oder ein nie gesehenes Tool ab dem ersten Lauf greifen. Und Schwellen wollen gewählt und abgestimmt werden, das ist Ingenieursarbeit.
Was wofür
Beide beantworten verschiedene Fragen, viele Teams werden also beide wollen. Ein Judge ist das bessere Werkzeug, um offene Qualität offline an Stichproben zu bewerten: Evaluierung vor einem Release, Stichproben, Forschung. Deterministische Erkennung ist das bessere Werkzeug für die laufende Überwachung im Betrieb, wo jeder Lauf geprüft wird, das Ergebnis reproduzierbar sein muss und Inhalte bleiben sollen, wo sie sind.
Nicht allein auf einen Judge verlassen würden wir uns dort, wo etwas folgt: bei Alarmen, die jemanden wecken, bei Scores, die steuern, was ein Agent darf, und bei Belegen, die in einem Vorfallsbericht landen. Dort ist eine Zahl, die jedes Mal gleich herauskommt, mehr wert als ein differenziertes Urteil, das beim nächsten Mal anders ausfallen kann.
Wie Kyde vorgeht
Kyde Score nutzt ausschließlich deterministische Detektoren: CUSUM für abrupte Wechsel, die Jensen-Shannon-Divergenz über Zeitfenster für schleichende Drift, einen Vertrag je Aufgabe für nie gesehene Tools und eine Regel für wiederholte identische Aufrufe. Es gibt kein Modell in der Schleife, und Prompt-Inhalte werden nicht gelesen. Die Drift-Detektoren sind Open Source, jeder kann sie nachrechnen. Der Aufgabenvertrag ist nicht öffentlich.
Kyde
Kyde Score bewertet jeden Lauf von 0 bis 100 mit deterministischen Detektoren: CUSUM, Jensen-Shannon-Divergenz, Aufgabenvertrag und Schleifenregel. Gleiche Eingabe, gleicher Score. Kein LLM in der Schleife, keine Prompt-Inhalte.
Kyde Score ansehen →