Nvidia-Router senkt Ramps KI-Rechnung um 58 Prozent

Die Standardeinstellung, die teuer wurde

Die meisten Einsätze von KI-Agenten laufen noch nach einer einzigen, nie hinterfragten Annahme: jeden Schritt jeder Aufgabe an das leistungsfähigste verfügbare Modell schicken und die Rechnung später sortieren. Für einen Proof of Concept ist das harmlos. Im Produktivbetrieb - Tausende Coding-Aufgaben, Support-Tickets oder Rechercheschritte pro Tag - wird daraus fast automatisch der größte Einzelposten im KI-Budget, oft ohne dass das jemand bewusst so entschieden hätte.

Nvidia nutzte seine eigene Ankündigung vom 11. August, um genau diese Standardeinstellung für überholt zu erklären. Das Unternehmen brachte Nemotron 3.5 Lightning heraus, ein offenes Mixture-of-Experts-Modell mit 30 Milliarden Parametern, von denen pro Token nur 3 Milliarden aktiv sind, dazu NeMo Switchyard, eine Open-Source-Bibliothek, die - aufgabenweise, teils sogar von Runde zu Runde - entscheidet, welches Modell tatsächlich gebraucht wird. Keines der beiden Produkte ist selbst ein neues Spitzenmodell. Zusammen sind sie das Versprechen, dass das Spitzenmodell die Ausnahme sein sollte, die ein Agent hinzuzieht, nicht der Standard, mit dem er startet.

Ein kleines Modell und der Router, der es füttert

Nemotron 3.5 Lightning ist auf Durchsatz ausgelegt, nicht auf Bestleistung. Nvidias eigener Entwickler-Blog berichtet, das Modell schließe 10.000 PinchBench-Aufgaben 30 Prozent schneller ab als Qwen3.6 35B bei vergleichbarer Genauigkeit und erreiche 86 Prozent auf diesem Benchmark bei bis zu vierfacher Ausgabegeschwindigkeit ähnlich großer Modelle - eine Behauptung, die Nvidia auf spekulatives Dekodieren und zwei Entwurfsmodelle zurückführt, DSpark und DFlash, abgestimmt auf niedrige beziehungsweise hohe Parallelität. Gewichte, Trainingsdaten und Trainingsrezepte erscheinen unter der Lizenz OpenMDW-1.1, die Nvidia als seine bislang großzügigste Freigabe bezeichnet.

NeMo Switchyard ist der Teil, der tatsächlich verändert, wie ein Budget sich verhält. Die Bibliothek bringt drei einstellungsfreie Routing-Strategien mit: einen LLM-Klassifikator, der beurteilt, welches Modell eine Anfrage braucht, und dieses Modell dann für den Rest der Sitzung beibehält; einen Stufen-Router, der die jüngste Werkzeugaktivität eines Agenten liest und nur dann zu einem stärkeren Modell hochstuft, wenn er echten Ärger erkennt - schwere Fehler, ergebnisoffenes Suchen -, während routinemäßige Änderungen und bestandene Tests beim günstigen Modell bleiben; sowie einen Eskalations-Router, der jede Aufgabe beim günstigen Modell beginnt und erst hochstuft, nachdem er mehrere Runden lang Schwierigkeiten beobachtet hat. Eine vierte, einstellbare Option liest Signale aus dem internen Zustand eines Modells während des Trainings aus, um schon vor der Erzeugung des ersten Tokens vorherzusagen, wie schwierig die kommende Anfrage tatsächlich ist. Nichts davon erfordert eine Neuprogrammierung der Anwendung - Switchyard setzt sich vor den bestehenden Mix aus offenen, proprietären und Nvidia-eigenen Modellen eines Entwicklerteams und ist ab sofort auf GitHub verfügbar.

Drei Zahlen, drei unterschiedliche Quellen

Die mit dieser Veröffentlichung verbundenen Einsparversprechen sind real, aber es handelt sich nicht überall um dieselbe Art von Beleg - und wer sein Budget danach ausrichtet, sollte den Unterschied kennen. Nvidias eigener, intern durchgeführter Benchmark meldet, Switchyard halte Genauigkeit auf Spitzenniveau, senke die Aufgabenkosten aber auf fast ein Drittel des reinen Betriebs von Claude Opus 4.8 - die Aussage eines Anbieters über sein eigenes Produkt, brauchbar als obere Schätzung, aber keine Zahl, auf die man ein Budget stützen sollte.

Zwei Kunden veröffentlichten eigene, unabhängige Zahlen. LangChain testete den Eskalations-Router an 145 mehrstufigen Deep-Agents-Aufgaben, geroutet zwischen Nemotron Lightning und Claude Opus 4.8, und meldete über fünf getrennte Durchläufe eine Kostensenkung um 74 Prozent, weil nur 7 Prozent der Anfragen an das Spitzenmodell gingen - bei einem gemessenen Genauigkeitsverlust von rund 6 Prozentpunkten, ein Kompromiss, den LangChain offen nannte statt zu verschweigen. Getrennt davon ließ Ramp, das Unternehmen für Firmenkarten und Ausgabenmanagement, den Stufen-Router von Switchyard gegen die eigene interne Coding-Agenten-Testreihe Ramp SWE-Bench antreten und erklärte über sein Entwicklerteam und seine Produktseite, geroutete Agenten hätten die Leistung eines Einzelmodells erreicht und dabei die Kosten um 58 Prozent sowie die Laufzeit um 33 Prozent gesenkt; der Aufbau läuft inzwischen produktiv im eigenen Router-Produkt von Ramp.

Eine dritte Zahl ist schwächer belegt, und das sollte man auch so benennen. Nvidias Technik-Blog schreibt Cognitions Devin Desktop, das den gestuften Router für Nvidias eigene interne Nutzer betreibt, eine um 28 Prozent niedrigere mittlere Kostensumme auf dem Benchmark FrontierCode Main zu, bei einer Genauigkeit innerhalb von 2,8 Punkten des Spitzenwerts und mittleren Kosten von 3,11 Dollar - umgerechnet rund 2,90 Euro - pro Aufgabe. Diese Zahl stammt aus Nvidias eigener Darstellung des Einsatzes, nicht aus einer unabhängigen Veröffentlichung von Cognition selbst - Cognitions eigener Blog beschreibt eine verwandte, aber eigenständige Hybrid-Routing-Funktion namens Devin Fusion mit anderen, nicht vergleichbaren Einsparzahlen. Zwei der drei Kundenzahlen sind unabhängig bestätigt, eine nicht - und das sollte man entsprechend gewichten.

Das eigentliche Produkt, das Nvidia da verschenkt hat

Die Schlagzeile ist ein günstigeres, schnelleres Modell. Der folgenreichere Schritt ist, was Nvidia kostenlos hergegeben hat: die Routing-Logik selbst, offen, modellunabhängig, platziert zwischen einem Agenten und dem jeweiligen Mix aus offenen, proprietären und Nvidia-eigenen Modellen, den ein Unternehmen einsetzt. Das ist eine bewusste Positionierung, kein Zufall - ein Router, der nur je auf Nvidias eigene Modelle zeigen würde, wäre eine deutlich kleinere Geschichte.

Für ein Unternehmen, das KI-Agenten wirklich im großen Stil betreibt, ändert das, was Anbieterbindung eigentlich bedeutet. Das alte Lock-in-Risiko bestand darin, an die API und Preisgestaltung eines einzigen Spitzenlabors gebunden zu sein. Das neue Risiko besteht darin, an denjenigen Router oder das Framework gebunden zu sein, das im Namen des Unternehmens entscheidet, welcher Anbieter wie oft gerufen wird - denn diese Schicht, nicht das darunterliegende Modell, trägt jetzt die Wechselkosten. Ein Router, der Datenverkehr bei Bedarf zwischen Anthropic, OpenAI-kompatiblen Schnittstellen und offenen Gewichten verschieben kann, ist echte Verhandlungsmacht gegenüber jedem einzelnen Labor, das die Preise erhöht. Er ist aber auch eine neue Abhängigkeit, die eine Einkaufsabteilung bislang nie absichern musste - und dass er quelloffen ist, macht den operativen Aufwand für Betrieb und Feinabstimmung nicht kostenlos.

Es gibt einen Compliance-Aspekt, den gerade europäische Unternehmen nicht übergehen können. Ein Router, der dieselbe Aufgabe mitten in einer Sitzung über drei oder vier verschiedene Modellanbieter verteilt, vervielfacht die Zahl der Auftragsverarbeitungsverträge und Unterauftragsverarbeiter, die ein Unternehmen nach Artikel 28 DSGVO führen muss - jeder Anbieter, den eine Aufgabe berührt, ist ein Unterauftragsverarbeiter, gleich ob die Routing-Entscheidung ein Mensch oder eine Eskalationsregel getroffen hat, die niemand in der Finanzabteilung gelesen hat. In Deutschland verlangen die Landesdatenschutzbehörden von Unternehmen schon heute auf Anfrage eine aktuelle Liste ihrer Unterauftragsverarbeiter; eine Routing-Schicht, die still in einer beliebigen Woche einen vierten oder fünften Modellanbieter auf diese Liste setzt, ist kein hypothetisches Prüfungsrisiko, sondern ein operatives.

Was sich für die Finanzabteilung ändert

Die praktische Folge ist ein neuer Prüfposten, kein neues Werkzeug, das man kaufen müsste. Ein Unternehmen, das bereits KI-Agenten im großen Umfang einsetzt, sollte eine Frage genauso beantworten können wie ein Cloud-Team heute die Mischung aus Reserved Instances und On-Demand-Kapazität: Welcher Anteil der Agenten-Anfragen dieses Monats brauchte tatsächlich das Spitzenmodell, und wer hat das entschieden. Ramps eigene Zahl - 58 Prozent weniger Kosten, wenn eigenen Angaben zufolge nur die wirklich schwierigen Fälle eskaliert werden - ist ein plausibles Ziel für eine Coding-Agenten-Last, die der von Ramp ähnelt, keine Garantie für jede Art von Arbeitslast; ein Kundenservice-Agent oder ein Recherche-Assistent wird anders routen als ein Software-Engineering-Agent, und der ehrliche erste Schritt ist, den aktuellen Anteil an Spitzenmodell-Aufrufen zu messen, bevor man annimmt, ein Router werde das Problem schon lösen.

Weiterlesen: Grok Bot bleibt dauerhaft in Ihren Apps angemeldet  |  4.000 Apps in 30 Tagen: Cloudflares KI-Wette