Wenn die Prüfumgebung am offenen Netz hängt

OpenAI hat am 5. August eine Aufarbeitung zu zwei Zwischenfällen bei Cybersicherheits-Prüfungen durch externe Partner veröffentlicht. Der eine Fall betrifft eine Prüfung durch das britische AI Safety Institute, der zweite geht auf den Prüfdienstleister Irregular zurück.

Dort liefen Aufgaben im Stil von Capture the Flag — nachgebaute Ziele, an denen sich zeigen soll, wie weit die Angriffsfähigkeiten eines Modells reichen. Die Umgebung sollte vom Internet abgeschnitten sein. Ein Konfigurationsfehler ließ den Modellen jedoch Zugang zum öffentlichen Netz. Dazu kam ein Zufall: Der Name des erfundenen Angriffsziels stimmte mit einer tatsächlich registrierten Domain überein. Das Modell hielt die echte Website für einen Teil des Übungsaufbaus und griff sie an.

Derselbe Dienstleister betrieb nach Anthropics Darstellung auch jene Umgebung, die Claude in einigen Testläufen unbeabsichtigt Zugriff auf das Netz gab. Es geht also nicht um den Einzelfehler eines Anbieters, sondern um dieselbe fehlkonfigurierte Infrastruktur, an der zwei Modellfamilien geprüft wurden. OpenAI kündigt in dem Beitrag zusätzliche Absicherungen für künftige Prüfläufe an.

Einordnung

Der Reflex, aus so einem Vorfall vor allem die Angriffsfähigkeit der Modelle herauszulesen, führt in die Irre. Umgangen hat hier niemand etwas — die Grenze war schlicht nicht dort, wo alle Beteiligten sie vermuteten. Für Teams, die Agenten in Testumgebungen laufen lassen, folgt daraus, die Netzwerktrennung zu messen statt sie anzunehmen: ein protokollierter Verbindungsversuch nach außen vor jedem Lauf, gegen eine kontrollierte Adresse.

Die zweite Lehre ist billiger zu haben und wird trotzdem regelmäßig übersehen. Fiktive Ziele in Testszenarien gehören in reservierte Namensräume — Namen unterhalb von example.com, Adressen aus den dafür vorgesehenen IP-Bereichen. Ein ausgedachter Firmenname ist im Zweifel längst vergeben, und ein Agent, der seine Aufgabe gewissenhaft erfüllt, unterscheidet nicht zwischen Übung und Ernstfall.