Benchmark misst Analysearbeit statt Fakten und Code

Gängige Benchmarks messen Faktenwissen, eng gefasste Fragen, Mathematik, Programmieren und Werkzeugnutzung. Kaum gemessen wird die analytische Arbeit, die Angestellte täglich leisten: verstreute Informationen zusammenführen, unter Unsicherheit und mit Lücken urteilen, gegenläufige Interessen mitdenken, Zielkonflikte abwägen und daraus eine begründete, angreifbare Analyse formen. Für diese Lücke liegt nun BusinessCaseBench vor — mehrere hundert Fragen zu Fallstudien aus achtzehn Fachgebieten, veröffentlicht als arXiv-Preprint in dritter Fassung.

Der methodische Kern steckt in der Bewertung. Zu jeder Frage gehört ein Raster, das aus der von Fachleuten verfassten Musterlösung der jeweiligen Fallstudie abgeleitet wurde. Damit wird auch dort vergleichbar, wo es keine einzelne richtige Antwort gibt und Erfolg sich nur schwer definieren lässt — der Punkt, an dem übliche Testverfahren aussteigen.

Das Ergebnis fällt deutlich aus: Aktuelle Spitzenmodelle schneiden gegen diese Raster bereits hoch ab, und innerhalb einer Modellfamilie hat die Leistung über zwei Jahre spürbar zugelegt.

Einordnung

Interessanter als der Befund ist das Verfahren. Wer eine Funktion baut, deren Ausgabe kein Test prüfen kann — Zusammenfassungen, Empfehlungen, Entwürfe, Analysen —, steht vor genau demselben Messproblem und behilft sich meist mit Bauchgefühl. Das Muster aus der Arbeit ist übertragbar und weniger aufwendig, als es klingt: eine Handvoll echter Fälle, dazu je eine Musterlösung von jemandem mit Fachurteil, daraus ein Bewertungsraster. Das ergibt eine Zahl, die sich zwischen Modellen, Prompts und Releases vergleichen lässt.

Zwei Einschränkungen bleiben. Lehrfallstudien sind veröffentlicht und dürften in Trainingsdaten stecken; ein hoher Wert misst dann teilweise Erinnerung statt Analyse. Und ein Raster aus der Musterlösung belohnt, was diese Lösung vorsieht — nicht zwingend, was eine gute Antwort ausmacht. Für die eigene Anwendung heißt das: Rubriken aus dem eigenen Fachgebiet schlagen jeden fremden Benchmark. Der Preprint hat zudem noch keine Begutachtung durchlaufen.