Gestaffelte Suche schlägt perfekten Kontext

Ob sich der Aufwand einer Schleife aus Suchen und Nachdenken gegenüber einem einzigen Suchlauf lohnt, war für Fragen mit mehreren Zwischenschritten bislang nicht sauber vermessen. Eine in den Transactions on Machine Learning Research erschienene Untersuchung stellt elf aktuelle Modelle in drei Anordnungen gegeneinander: ganz ohne Kontext, mit vollständig vorgelegten korrekten Belegen („Gold Context") und mit iterativem RAG — einem Regler ohne eigenes Training, der Suche, Nachschärfen der Hypothese und ein belegabhängiges Abbruchkriterium abwechselt. Als Grundlage dient ein Datensatz mit chemischen Fragen über einen Wissensgraphen, beschränkt auf Fälle, die echtes Nachschlagen erfordern.

Das Ergebnis widerspricht der naheliegenden Annahme, mehr richtiger Kontext sei immer besser: Die iterative Variante liegt durchgehend vor der Anordnung mit den perfekten Belegen, mit Abständen von bis zu 25,6 Prozentpunkten. Am größten fällt der Vorsprung bei Modellen ohne Reasoning-Feinabstimmung aus. Als Gründe nennt die Arbeit weniger Fehler bei den späten Zwischenschritten, geringere Überladung des Kontexts und die Möglichkeit, eine früh eingeschlagene falsche Spur unterwegs zu korrigieren.

Was weiterhin schiefgeht

• Zwischenschritte, die gar nicht erst abgedeckt werden
• das Festbeißen an einem ablenkenden Treffer
• schlecht kalibrierte Abbrüche, die zu früh stoppen
• hohe Fehlerquote beim Zusammensetzen der Teilergebnisse, selbst bei perfekter Suche

Einordnung

Die praktische Folgerung ist unbequem für den üblichen Reflex, bei schlechten Antworten erst einmal mehr Dokumente in den Prompt zu schieben. Nicht das Vorhandensein der Belege entscheidet, sondern die Reihenfolge, in der sie ankommen — und wie viel Ballast gleichzeitig mitläuft. Wer heute ein statisches RAG betreibt, hat mit einer Schleife samt Abbruchkriterium einen Hebel in der Hand, der kein Training kostet, dafür aber Laufzeit und Tokens.

Zwei Vorbehalte gehören dazu. Gemessen wurde in einem eng gefassten naturwissenschaftlichen Gebiet mit mehrstufigen Fragen; Anwendungen mit flachen Suchanfragen dürften weniger profitieren. Und die genannten Schwachstellen — verfrühtes Abbrechen, fehlerhaftes Zusammensetzen — sind kein Randproblem, sondern genau die Stellen, an denen eine solche Schleife im Betrieb ausfällt. Code und Auswertungen liegen offen.