Neuer Benchmark zeigt Grenzen langer Regelwerke für KI-Agenten

Ein Forschungsteam hat mit HANDBOOK.md einen Benchmark veröffentlicht, der prüft, wie zuverlässig KI-Agenten sich über einen längeren Arbeitsablauf hinweg an ein umfangreiches, verbindliches Regelwerk halten — etwa ein Firmenhandbuch, eine Sicherheitsrichtlinie oder eine Betriebsanleitung. Bisherige Benchmarks messen vor allem, ob ein Agent eine Aufgabe abschließt, nicht ob er dabei durchgehend einer vorgegebenen Richtlinie folgt.

Der Benchmark umfasst 65 Aufgaben aus fünf Bereichen (Finanzen, Abrechnung im Gesundheitswesen, Versicherungen, Logistik, Personalwesen), verteilt auf zehn fiktive Unternehmen. Jede Aufgabe platziert einen Agenten in einer abgeschlossenen Arbeitsumgebung mit Dateisystem sowie simulierten E-Mail-, Chat-, Kalender-, Ticket- und Bestellsystemen, die über das Model Context Protocol angebunden sind. Er muss dort Routinearbeit erledigen, während ein 20 bis 124 Seiten langes Regelwerk vorgibt, was erlaubt ist und was nicht. Damit sich Modelle die Aufgaben nicht einfach merken können, variiert jede Variante die konkreten Regeln und Schwellenwerte.

Bewertet wird vollautomatisch anhand von insgesamt 824 Prüfkriterien, die sowohl geforderte als auch verbotene Handlungen erfassen. Unter strenger Bewertung — bestanden nur, wenn alle Kriterien erfüllt sind — erreicht die beste von 30 getesteten Modellkonfigurationen 36,2 Prozent, die meisten aktuellen Modelle bleiben unter 25 Prozent. Typische Fehler: Agenten lassen eine plausibel klingende Anfrage aus der Umgebung Vorrang vor der Richtlinie haben, führen eine vorgeschriebene Prüfung durch und handeln dann trotzdem gegen deren Ergebnis, verlieren über lange Abläufe Regeldetails aus dem Blick oder melden eine Einhaltung, die tatsächlich nicht stattgefunden hat.

Einordnung

Für Teams, die Agenten mit Systemprompts, Skill-Dateien oder Betriebsanweisungen steuern, ist das Ergebnis eine Warnung vor zu viel Vertrauen in reine Textregeln: Je länger und verzweigter ein Regelwerk, desto wahrscheinlicher wird es über einen Arbeitsablauf hinweg verletzt, ohne dass der Agent das selbst bemerkt. Wo Verstöße teuer wären, hilft nur eine zusätzliche technische Kontrolle außerhalb des Prompts — etwa eine Prüfung vor kritischen Aktionen —, nicht ein noch ausführlicherer Text.