Wer KI-Agenten produktiv betreibt, sollte sich die GenAI Semantic Conventions von OpenTelemetry ansehen. Sie legen ein gemeinsames Vokabular unter dem Namensraum gen_ai.* fest, mit dem sich Modellaufrufe, Tool-Aufrufe, Retrieval, Memory und ganze Agentenläufe beschreiben lassen. Ein Lauf wird zum Trace, jeder Modell- und Tool-Aufruf zu einem Span, der Tokenverbrauch zu einer Metrik.
Die Verbreitung ist ungleichmäßig, die Richtung aber eindeutig. VS Code Copilot sendet bereits invoke_agent-, chat- und execute_tool-Spans nach diesen Konventionen. Claude Code ergänzt sein Tracing, das noch im Beta-Stadium ist, um einige gen_ai.*-Attribute. Mehrere ältere Instrumentierungsbibliotheken sind älter als die Konventionen und nähern sich ihnen schrittweise an.
Das ist ein echter Fortschritt. Eine gemeinsame Sprache dafür, was ein Agent getan hat, sagt aber noch nichts darüber, ob er es hätte tun sollen. Diese zweite Frage ist für die meisten Teams die wichtigere, und die Konventionen lassen sie bewusst offen.
Was die Konventionen festlegen
Das zentrale Attribut ist gen_ai.operation.name. Es gibt an, welche Art von Arbeit ein Span darstellt: chat, embeddings, invoke_agent, execute_tool, retrieval oder einen der übrigen in der Spezifikation definierten Werte. Einige weitere Attribute erledigen den Großteil der restlichen Arbeit:
gen_ai.provider.nameundgen_ai.request.modelhalten fest, welcher Anbieter und welches Modell geantwortet haben.gen_ai.tool.nameundgen_ai.tool.call.idhalten fest, welches Tool der Agent aufgerufen hat.gen_ai.conversation.idverbindet die Spans einer Sitzung.
MCP passt in dasselbe Modell. Die Spezifikation behandelt einen MCP-Tool-Aufruf als execute_tool-Span. Ein Tool hinter einem Protokoll sieht im Trace also genauso aus wie ein Tool im eigenen Prozess.
Auch beim Inhalt treffen die Konventionen eine bewusste Entscheidung. Instrumentierungen sollen Prompts und Antworten standardmäßig nicht erfassen und eine Möglichkeit anbieten, das bei Bedarf einzuschalten. Das wichtigste Betriebssignal, also welche Tools ein Agent in welcher Reihenfolge aufgerufen hat, wie lange jeder Schritt dauerte und ob er fehlschlug, steht damit zur Verfügung, ohne dass jemand speichert, was gesagt wurde.
Was ein einzelner Span nicht zeigen kann
Jeder Span beschreibt einen Schritt für sich. Nehmen Sie den Trace, den die meisten Anleitungen als Beispiel verwenden: ein invoke_agent-Lauf, der das Modell aufruft, web_search ausführt, erneut das Modell aufruft, summarize_doc ausführt und das Modell ein letztes Mal aufruft. Jeder Span ist korrekt aufgebaut, jedes Attribut entspricht der Spezifikation.
Angenommen, derselbe Agent ruft in einem späteren Lauf in Schritt vier send_email auf. Oder er ruft web_search elfmal statt einmal auf. Oder er bezahlt einen Händler, den er noch nie bezahlt hat. Diese Spans sind genauso korrekt aufgebaut wie die früheren. Nichts an ihnen zeigt, dass der Lauf ungewöhnlich war, denn ungewöhnlich ist ein Lauf nur im Vergleich mit dem bisherigen Verhalten dieses Agenten. Das ist eine Eigenschaft der ganzen Abfolge im Vergleich mit einer Historie, und ein einzelner Span trägt weder das eine noch das andere.
Warum Zählen nicht reicht
Am nächsten kommen die Metriken der Spezifikation. Zwei Histogramme, gen_ai.invoke_agent.tool_calls und gen_ai.invoke_agent.inference_calls, erfassen, wie viele Tool- und Modellaufrufe ein Agent pro Aufruf macht. Eine steigende Zahl ist ein brauchbares frühes Zeichen dafür, dass ein Agent in einer Schleife hängt.
Viele relevante Veränderungen bewegen die Zahl aber nicht. Ein Agent, der früher search, read und summarize aufgerufen hat und jetzt search, read und export aufruft, macht gleich viele Aufrufe. Latenz und Tokenverbrauch ändern sich womöglich ebenfalls nicht. Ein Dashboard, das nur auf Zählungen, Latenz und Tokens beruht, zeigt dann nichts Auffälliges.
Das betrifft die Sicherheit genauso wie die Zuverlässigkeit. Eine erfolgreiche Prompt Injection muss einen Agenten weder langsamer noch teurer machen. Sie muss ihn nur dazu bringen, etwas anderes zu tun, und das zeigt sich daran, welche Tools er aufruft, nicht daran, wie viele.
Was Drift-Erkennung braucht
Um solche Veränderungen zu erkennen, braucht es drei Dinge, die die Konventionen gar nicht leisten wollen.
Eine Baseline pro Agent. Was für einen Recherche-Agenten normal ist, ist es für einen Abrechnungs-Agenten nicht. Die Baseline muss aus den eigenen Läufen jedes Agenten gelernt werden, verknüpft mit einer Identität, die die Telemetrie bereits mitbringt.
Detektoren, die jedes Mal dieselbe Antwort geben. Plötzliche Sprünge und schleichende Drift sind unterschiedliche statistische Probleme. CUSUM ist für das erste gebaut. Eine gefensterte Jensen-Shannon-Divergenz über die Verteilung der Tool-Aufrufe eignet sich für das zweite. Keiner der beiden braucht ein Sprachmodell, um zu erraten, was der Agent beabsichtigt hat. Dieselben Eingaben ergeben deshalb immer denselben Score, und jeder kann die Berechnung nachvollziehen.
Einen Vertrag pro Aufgabe. Manche Veränderungen sollten nicht auf die Statistik warten. Ruft ein Agent ein Tool auf, das er für diese Art von Aufgabe noch nie benutzt hat, lohnt sich ein Hinweis schon beim ersten Mal. Ein neuer Zahlungsempfänger ist ein gutes Beispiel: Bis sich eine Verteilung verschoben hat, ist das Geld überwiesen.
Dafür ist keine neue Instrumentierung nötig. Es braucht etwas, das die Spans, die Agenten ohnehin senden, in ihrer Reihenfolge liest und mit dem Vorherigen vergleicht.
Bauen auf einer Spezifikation, die sich noch ändert
Alle gen_ai.*-Attribute, -Spans und -Metriken haben noch den Status „Development“, die früheste von drei Stufen bei OpenTelemetry. Im Juni 2026 sind die Konventionen mit Release v1.42.0 aus dem zentralen Repository der Semantic Conventions in ein eigenes umgezogen, semantic-conventions-genai. Dieses Repository hat noch kein getaggtes Release veröffentlicht, und seine Schema-URL steht noch auf TODO.
Das ist kein Grund zu warten, legt aber zwei Gewohnheiten nahe. Erstens: Halten Sie die Attributnamen, von denen Sie abhängen, an einer Stelle im Code. Wird gen_ai.tool.name umbenannt, wollen Sie eine Zeile ändern und nicht jede Abfrage und jedes Dashboard durchsuchen.
Zweitens: Lesen Sie nur, was Sie brauchen. Ein Verhaltens-Score muss wissen, welches Tool wann in welcher Sitzung aufgerufen wurde und ob der Aufruf erfolgreich war. Den Prompt braucht er nicht. Wer nur diese wenigen Felder extrahiert und alles andere ignoriert, hält den Standard der Spezifikation, keine Inhalte, schon durch die Bauweise ein, statt darauf zu vertrauen, dass jedes nachgelagerte System ihn respektiert.
Was daraus folgt
Die GenAI-Konventionen sind auf dem besten Weg, das Benennungsproblem zu lösen. Agenten auf unterschiedlichen Frameworks können ihre Arbeit in einer Sprache beschreiben, für jedes Backend. Das ist ein solides Fundament.
Die nächste Ebene ist die Bewertung. Wir meinen, sie sollte deterministisch sein: Jeder Lauf wird mit der eigenen Historie dieses Agenten verglichen, das Ergebnis ist eine Zahl und nicht die Einschätzung eines zweiten Modells über das erste. Ein Trace hält fest, was passiert ist. Ein Score sagt, ob das für diesen Agenten normal war.
Kyde
Kyde Score arbeitet so. Er liest gen_ai.*-Tool-Spans und Tool-Events von Claude Code über OTLP, lernt aus den ersten 30 Läufen jedes Agenten über mindestens 3 Tage eine Baseline und bewertet jeden weiteren Lauf von 0 bis 100 mit CUSUM, Jensen-Shannon-Divergenz und einem Vertrag pro Aufgabe. Wechselt ein Agent das Band, sendet er einen HMAC-signierten Webhook. Prompt-Inhalte liest er nie.
Kyde Score ansehen →