Modellwahl pro Arbeitsschritt statt pro Anwendung

Agentensysteme bestehen zunehmend aus mehreren Modellen nebeneinander: Ein großes Modell plant und verteilt, kleinere übernehmen eng umrissene Aufgaben wie Code-Durchsicht, Werkzeugaufrufe oder das Beobachten von Warnmeldungen. Für diese zweite Rolle veröffentlicht NVIDIA Nemotron 3.5 Lightning, ein offenes Mixture-of-Experts-Modell mit 30 Milliarden Parametern. Es lässt sich mit eigenen Daten nachtrainieren und läuft nach Anbieterangaben lokal auf RTX-Rechnern, DGX-Systemen und Jetson ebenso wie im Rechenzentrum; angegeben werden eine bis zu viermal höhere Ausgabegeschwindigkeit und 30 Prozent schneller erledigte Agentenaufgaben gegenüber Modellen derselben Klasse. Zu beziehen ist es über Hugging Face, ModelScope, OpenRouter und den Dienst des Anbieters. Mitveröffentlicht wird der Datensatz aus agentischem Reinforcement Learning, mit dem das Modell für Coding-Agenten nachtrainiert wurde.

Praktischer dürfte der zweite Teil sein: NeMo Switchyard, eine quelloffene Bibliothek für Modell-Routing. Sie reicht jeden Schritt eines Agentenlaufs an das dafür geeignete Modell weiter — quer über offene, zugekaufte und NVIDIA-eigene Modelle, ohne dass die Anwendung umgeschrieben werden muss. Die Regeln lassen sich auf Qualität, Latenz oder Kosten hin einstellen. Die Bibliothek liegt auf GitHub, LiteLLM ergänzt sie als Erweiterung seiner Proxy-Schicht, Kong bindet sie in sein Gateway ein.

Einordnung

Sämtliche Zahlen stammen vom Anbieter oder seinen Partnern, unabhängige Messungen fehlen. Eine davon ist trotzdem lehrreich, weil sie den Tausch offenlegt: LangChain berichtet über 145 mehrstufige Aufgaben von 74 Prozent geringeren Kosten, wenn nur 7 Prozent der Aufrufe an ein Spitzenmodell gehen — bei 6 Prozent geringerer Treffergenauigkeit. Genau diese Abwägung nimmt ein Router niemandem ab, er führt sie nur aus: wie viel Genauigkeit eine Kostensenkung wert ist und an welcher Stelle im Ablauf sie fehlen darf.

Für ein kleines Team verschiebt das weniger bei der Hardware als bei der Architektur. Ein Router sitzt im Weg jeder Anfrage und wird damit selbst zum Bauteil: messbar, versionierbar und im Störfall überbrückbar. Der Einstieg über eine ohnehin eingesetzte Proxy-Schicht ist deshalb der ruhigere Weg als ein eigener Dienst — und er lässt sich wieder zurücknehmen.