Agenten stolpern über den Sprachwechsel

Agenten werden überwiegend an einsprachigen Aufgaben gemessen, während die Arbeitsabläufe, in die sie eingebaut werden, selten einsprachig sind: ein Angebot auf Deutsch, die Produktdaten auf Englisch, das Werkzeug dazwischen mit englischen Fehlermeldungen. Wie sich Mehrsprachigkeit und lange Handlungsketten gegenseitig beeinflussen, war bislang kaum untersucht.

Der Benchmark PolyWorkBench setzt genau dort an. Er umfasst 67 Aufgaben aus fünf Bereichen — Handel, Wissensarbeit, juristische Analyse, Lokalisierung und Fertigung —, die aus echten Datenbeständen abgeleitet und intern gegengeprüft wurden. Verlangt wird jeweils, Material aus verschiedenen Sprachen zusammenzuführen, eine mehrstufige Werkzeugkette zu durchlaufen und am Ende ein strukturiertes Arbeitsergebnis abzuliefern. Bewertet wird dreifach: ein aufgabenspezifisches Raster als Hauptmaß, ausführbare Tests für den tatsächlich erreichten Zustand und ein Modell als Gutachter für die inhaltliche Qualität. Der Befund: Die Leistung schwankt erheblich zwischen den Sprachen und fällt bei den Aufgaben mit Sprachwechsel deutlich ab. Die Fehler verteilen sich dabei nicht zufällig, sondern treten wiederkehrend in Planung, Werkzeugbedienung und Entscheidungsfindung auf.

Einordnung

Für Teams im deutschsprachigen Raum ist das der Normalfall, nicht der Sonderfall. Ein Agent, der deutsche Dokumente liest, englische Schnittstellen bedient und auf Deutsch antwortet, wechselt in jedem Durchlauf mehrfach die Sprache. Wer die Eignung eines Modells aus englischsprachigen Ranglisten ableitet, überträgt eine Messung auf eine Last, die sie nicht abbildet — die belastbare Konsequenz ist banal und wird trotzdem selten gezogen: eigene Abnahmefälle in der Sprachmischung aufsetzen, in der später gearbeitet wird.

Zur Einordnung des Befunds selbst: 67 Aufgaben sind wenig, sie stammen von der Autorengruppe und wurden im selben Kreis geprüft. Ein Gutachtermodell als Teil der Bewertung bringt zudem dieselbe Klasse von Schwächen mit, die es messen soll. Die Richtung des Ergebnisses ist plausibel, die genaue Höhe des Einbruchs sollte man nicht als feste Größe nehmen.