Recherche-Agenten scheitern am Bildmaterial

Prüfstände für recherchierende Agenten sind bisher fast durchweg Textprüfungen. BrowseComp und Verwandte stellen Fragen, deren Antwort irgendwo im Netz geschrieben steht; der Agent sucht, liest, trägt zusammen. Ein erheblicher Teil dessen, was im Netz tatsächlich Auskunft gibt, steht aber nicht in Sätzen, sondern in einem Bildschirmfoto, einer Grafik oder einem Video.

An dieser Lücke setzt MM-BrowseComp an. Die Sammlung besteht aus 400 von Hand gebauten Fragen, die sich mit reinem Textabruf nicht lösen lassen: Ein Teil der Aufgabenstellung kommt selbst als Bild, und die entscheidende Angabe steckt in Material, das ein textgetriebener Durchlauf überspringt. Zu jeder Frage gehört eine geprüfte Checkliste der nötigen Belege und ihrer Reihenfolge. Damit lässt sich nachsehen, an welcher Stelle ein Lauf abbiegt, statt nur richtig und falsch zu zählen.

Geprüft wurden 27 aktuelle Modelle. Das beste Ergebnis erreicht GPT-5-High mit Werkzeugzugriff — 24,25 Prozent. Die Arbeit ist zur EMNLP 2026 angenommen, die Fragensammlung liegt offen vor.

Einordnung

Der Befund ist wenig überraschend, aber selten so deutlich beziffert: Ein Agent, der Bilder und Videos verarbeiten kann, tut es beim Recherchieren nicht von allein. Zwischen "das Modell ist multimodal" und "der Ablauf zieht Belege aus Bildmaterial" liegt der ganze Weg über Auswahl, Abruf und Auswertung — und der ist offenbar noch nicht gebaut.

Für eigene Rechercheabläufe folgt daraus zweierlei. Wer Quellen erwartet, in denen Zahlen als Grafik oder Aussagen als Video vorliegen, sollte den Bildschritt ausdrücklich einbauen statt ihn dem Agenten zu überlassen: Seite holen, Bilder gezielt beschreiben lassen, Ergebnis als Text weiterreichen. Und wer solche Abläufe abnimmt, prüft besser nicht nur die Antwort, sondern ob der Beleg überhaupt aus der Quelle stammt, die ihn tragen soll.

Einschränkend gilt: Die Zahlen stammen vom Team hinter dem Prüfstand, und ein selbst entworfener Schwierigkeitsgrad lässt sich nicht mit anderen Sammlungen verrechnen. Belastbar ist der Abstand nach unten, nicht die genaue Prozentzahl.