Die Spur verliert sich nach dem ersten Schritt

Agentischer Abruf verschränkt Suchen, Schlussfolgern und Antworten über mehrere Runden. Das macht die Fehlersuche unangenehm: Ein schlechter Treffer in Runde eins fällt womöglich erst als falsche Antwort in Runde drei auf — und umgekehrt kann eine spätere Suche einen frühen Fehler wieder ausbügeln. Wer danach ins Protokoll schaut, sieht das fertige Ergebnis, nicht die Ursache.

Eine Untersuchung stellt diese Fehlerzuordnung selbst auf den Prüfstand. Der Aufbau namens AgenticRAG-FP setzt an einer bestimmten Stelle der Kette einen bekannten Fehler ein, lässt den Rest des Ablaufs neu durchlaufen und prüft anschließend, ob ein Diagnoseverfahren genau diese Stelle wiederfindet. Weil der eingesetzte Fehler bekannt ist, gibt es erstmals eine harte Referenz statt einer Vermutung.

Das Ergebnis ist einseitig. In einem abgeschlossenen Durchlauf über 80 dreistufige Fragen aus MuSiQue, ausgeführt mit Claude Haiku 4.5, erkannte die übliche Diagnose über Belegabdeckung den manipulierten Schritt in 91 Prozent der Fälle — solange er der erste war. Lag er an zweiter oder dritter Stelle, lag die Trefferquote bei null. Eine kleinere Zusatzreihe verfälschte statt dessen einen Inhalt innerhalb ansonsten passender Belege; dort erreichte ein Gegenprobe-Verfahren, das einzelne Schritte einfriert, 0,67 gegenüber weiterhin null für die Abdeckungsdiagnose.

Einordnung

Der belastbare Teil ist der negative Befund, und der ist unangenehm konkret: Nachträgliche Protokollanalyse taugt in mehrstufigen Abrufketten nur für Fehler ganz am Anfang. Was danach schiefgeht, überschreibt seine eigenen Spuren, weil die folgenden Schritte auf den verfälschten Zwischenstand reagieren. Ein Ablaufprotokoll allein beantwortet die Frage nach der Ursache also nicht, so vollständig es auch aussieht.

Praktisch heißt das: Zwischenstände bewerten, während sie entstehen, statt sich auf die Rekonstruktion danach zu verlassen. Ein festgehaltener Zustand pro Schritt und ein erneuter Lauf mit eingefrorenem Verdachtsschritt kosten wenig und liefern das, was der Rückblick nicht hergibt.

Die Zahlen zur besseren Methode tragen dagegen wenig. Der Vergleich stützt sich auf 18 Fälle, die Werte für die dritte Stufe auf drei; die Arbeit weist selbst darauf hin und bezeichnet sie als rein beschreibend. Es handelt sich zudem um einen Preprint. Belegt ist der Signalverlust, nicht der Rangunterschied zwischen den Diagnoseverfahren.