Ein Frontier-Modell nimmt keine Kunden mehr an

Vier Tage vom Start bis zum Ausverkauf

Moonshot AI veröffentlichte Kimi K3 am 16. Juli, ein Modell mit rund 2,8 Billionen Parametern und einem Kontextfenster von einer Million Token. Am 20. Juli stellte das Unternehmen eine Mitteilung an seine Nutzer online, in der es Engpässe bei der Rechenkapazität und die Aussetzung von Abonnements beschrieb. Die Anfragen der ersten 48 Stunden hätten die Prognosen weit überschritten und den bestehenden Rechen-Cluster nahe an die maximale Auslastung gebracht.

Das Mittel dagegen war, den Verkauf einzustellen. Moonshot erklärte, neue Verbraucherabonnements sofort auszusetzen und alle verfügbaren Rechenressourcen den bestehenden Abonnenten zu widmen, damit deren Dienst unbeeinträchtigt bleibt, während das Unternehmen die Infrastruktur ausbaut und Plätze schubweise wieder öffnet. Das ist keine Störung und keine Preiserhöhung. Das ist ein Anbieter, der neue Einnahmen ablehnt, weil er sie nicht bedienen kann.

Die Rationierungsregel ist der lesenswerte Teil

Als das Angebot knapp wurde, entschied die Dauer der Mitgliedschaft, nicht die Zahlungsbereitschaft. Bestehende Abonnenten behielten ihre Leistungen vollständig. Interessenten, darunter jedes europäische Team, das das Wochenende mit der Bewertung von K3 verbracht hatte und am Montag zusagen wollte, bekamen schlicht eine Absage. In einem Markt, in dem Käufer gewohnt sind, dass Kapazität hinter einer Kreditkarte ein gelöstes Problem ist, ist das eine ungewohnte Form des Scheiterns.

Es ist zugleich eine vertretbare Entscheidung, und das sollte man anerkennen. Den Dienst für zahlende Nutzer zu verschlechtern, um mehr von ihnen aufzunehmen, wäre die schlechtere Wahl gewesen. Für einen Käufer ist die Folge aber konkret: Ein früh eröffnetes Konto ist nicht nur ein günstigeres Konto, es ist ein Anspruch auf knappes Angebot. Das ist eine Eigenschaft des Kaufs, die keine Benchmark-Tabelle erfasst.

Ein Benchmark setzt voraus, dass Sie die Sache kaufen können

Zwei Tage vor der Aussetzung hatte eine unabhängige Bewertung K3 an die Spitze einer viel beachteten Bestenliste für Frontend-Programmierung gesetzt, vor den besten geschlossenen Modellen. Dieses Ergebnis war echt und es war nützlich. Es setzte zugleich stillschweigend etwas voraus, das sich als falsch erwies, nämlich dass ein von der Zahl überzeugtes Team danach auch handeln kann.

Die praktische Korrektur ist klein und günstig. Wenn Sie ein gehostetes Modell bewerten, halten Sie neben Preis und Ergebnis zwei weitere Dinge fest: was der Anbieter zur Kapazitätsreserve sagt und was er tatsächlich getan hat, als die Nachfrage das Angebot überstieg. Auf die zweite Frage hat Moonshot nun öffentlich geantwortet, und das ist mehr, als die meisten Anbieter vorweisen. Werten Sie diese Offenheit als Information und nicht als Makel.

Was sich am 27. Juli ändert

Moonshot hat erklärt, die vollständigen K3-Gewichte sollen am 27. Juli veröffentlicht werden. Wenn das hält, verschiebt sich die Beschränkung. Ein Modell, das Sie selbst hosten können, ist durch die Beschleuniger begrenzt, die Sie mieten oder besitzen, und nicht durch die Warteschlange eines anderen Unternehmens. Für einen europäischen Betreiber rückt damit auch die Frage des Datenstandorts auf Boden, den Sie kontrollieren.

Die Wirtschaftlichkeit ändert sich, statt zu verschwinden. K3 wurde mit rund 3 Dollar je Million Eingabe-Token und 15 Dollar je Million Ausgabe-Token bepreist, etwa 13 Euro für Letzteres, und ein Modell dieser Größenklasse selbst zu betreiben ist kein Nebenbei-Projekt. Ehrlich gerahmt verwandelt der 27. Juli ein Warteschlangenproblem in ein Kapital- und Ingenieurproblem. Für manche Arbeitslasten ist das ein besseres Problem. Für die meisten ist es schlicht ein anderes.

Was vor Ihrer nächsten Modellentscheidung zu tun ist

Richten Sie für jeden Arbeitsablauf, in dem ein Modell inzwischen steckt, einen zweiten Anbieter ein und testen Sie ihn regelmäßig. Der Test zählt mehr als die Einrichtung, denn ein Rückfallweg, den niemand geübt hat, ist ein Plan und keine Fähigkeit. Halten Sie die Umschaltung auf der Ebene Ihres eigenen Codes, statt sich auf eine Anbieterabstraktion zu verlassen, die Sie im Ernstfall mit verlieren würden.

Entscheiden Sie danach bewusst, ob Sie Leistungsfähigkeit oder Kapazität kaufen. Wenn das Modell wirklich umsatztragend ist, lohnen sich ein frühes Abonnement und reservierter Durchsatz, bevor Sie sie brauchen, nach dem Befund dieser Woche. Ist der Einsatz explorativ, kostet Sie die Warteschlange nichts, und Sie sollten nicht dafür zahlen, sie zu überspringen.

Weiterlesen: Moonshots größtes Modell hat keinen Regler fürs Denken  |  Alibaba verschwieg die Zahl, die Ihre Kosten bestimmt