Beim Refactoring verliert die Arbeitsteilung

Ein Umbau über ein ganzes Repository hinweg verlangt, dieselbe Änderung durch viele voneinander abhängige Dateien zu ziehen, ohne das Verhalten des Programms zu verändern. Welche Bauform eines Agenten dabei hilft, war bislang Ansichtssache: Wer Ergebnisse verglich, verglich zugleich unterschiedliche Aufgaben, Umgebungen und Modelle mit.

RefactorPlatform hält deshalb die Umgebung fest und variiert die Entwurfsentscheidungen einzeln — Modellunterbau, Betriebsart (ohne Suche, mit Codesuche, mit Unteragenten) und Genauigkeit der Anweisung. Jeder Lauf passiert in einem eigenen Arbeitsbereich, mit Protokoll über Token, Diffs und Verlauf, Prüfung über den Syntaxbaum und exportierbaren Messdaten. Der Prüfstand ist quelloffen und wurde als Systemdemonstration zur EMNLP 2026 angenommen.

Vorgeführt wird er an 100 mehrdateiigen Aufgaben aus RefactorBench über vier Modellfamilien. Drei Befunde stechen heraus. Zerlegt man den Code entlang des Syntaxbaums statt in Token-Fenster, steigt die Trefferquote quer über alle Anweisungsarten um 25 bis 30 Prozent. Naiv gebaute Suche liegt dagegen unter dem Ergebnis ganz ohne Suche. Und ein schlanker Einzelagent mit Codesuche kommt auf 86 Prozent gegenüber 66 Prozent für die geprüfte Aufteilung auf Unteragenten — keine Aufgabe gelang der Delegation, die der Suche misslang. Der Mehrverbrauch der Suche wird durch die höhere Trefferquote aufgewogen: Die Kosten je gelungenem Umbau bleiben gleich.

Einordnung

Am unmittelbarsten verwertbar ist der Zuschnitt: Code an Syntaxgrenzen trennen, nicht an Zeichenzahlen. Der zweite Befund ist die Warnung dazu — Suche einzubauen macht ein System nicht automatisch besser, schlecht geschnittener Kontext verdrängt den richtigen.

Der dritte Punkt läuft dem Trend zu Unteragenten zuwider, verdient aber eine genaue Lesart: Geprüft wurde eine Aufteilung, nicht die Idee der Aufteilung. Belegt ist damit, dass Delegation kein Selbstläufer ist und für diese Aufgabenklasse den Umweg nicht wert war — nicht, dass sie nirgends trägt.

Es handelt sich um einen Preprint, dessen Zahlen die Möglichkeiten des Prüfstands vorführen sollen, nicht um eine breit angelegte Studie. Der bleibende Wert liegt im Werkzeug selbst: Es liegt offen vor und lässt sich auf eigene Umbauten anwenden.