Wenn die Aufgabe auf Englisch nicht vorkommt

Coding-Agenten werden fast ausschließlich auf Englisch gemessen. Die Aufgaben der bekannten Prüfstände stammen aus englischsprachigen Projekten, die Fehlermeldungen sind englisch, die Testfälle ebenso. Was dabei nie geprüft wird, ist genau die Sorte Arbeit, die in nicht-englischen Projekten anfällt und im Englischen schlicht kein Gegenstück hat.

Terminal-Bench-LILT setzt dort an. Der Prüfstand umfasst 300 echte Programmieraufgaben in zehn Sprachen, darunter Deutsch, Arabisch, Japanisch, Serbisch und Chinesisch. Jede Aufgabe zielt auf ein Problem, das ohne die jeweilige Sprache oder Region nicht entstünde: Internationalisierung, Zeichenkodierung, Textnormalisierung, landesübliche Konventionen für Datum, Sortierung und Schreibweise. Geschrieben wurden die Aufgaben von muttersprachlichen Entwicklerinnen und Entwicklern und anschließend mehrstufig gegengeprüft.

Sechs aktuelle Spitzenmodelle traten an. Das beste kommt auf 63,1 Prozent gelöste Aufgaben; einige Aufgaben löst kein einziges Modell. Auffällig ist weniger die Höhe als die Streuung: Die Ergebnisse fallen je Sprache deutlich auseinander, und die Reihenfolge der Modelle entspricht nicht ihrer Platzierung in den allgemeinen Coding-Ranglisten.

Einordnung

Der praktische Kern steckt im letzten Punkt. Wer sein Werkzeug nach einer englischsprachigen Rangliste auswählt, wählt für eine andere Last aus, als er hat — sobald Umlaute, Zeichensätze, Sortierreihenfolgen oder Datumsformate im Spiel sind, gilt die Reihenfolge offenbar nicht mehr. Für deutschsprachige Projekte ist das kein Randfall, sondern der Alltag jeder Eingabemaske und jedes Datenimports.

Daraus folgt nichts Aufwendiges, aber etwas Konkretes: Ein paar eigene Abnahmefälle in dieser Klasse — falsch kodierte Datei, gemischte Normalisierungsformen, deutsche Sortierung, Zahlformat mit Komma — trennen Modelle schneller voneinander als jede Rangliste. Und bei Aufgaben dieser Art lohnt die Durchsicht des Ergebnisses eher als bei Standardarbeit an englischsprachigem Code.

Einschränkend: Es handelt sich um einen Preprint, die Aufgaben stammen von der Gruppe, die auch misst, und öffentlich einsehbar sind bisher nur Beispiele. Belastbar ist der Befund, dass eine eigene Fähigkeitsachse gemessen wird — nicht die genaue Quote.