Fyra dagar från lansering till slutsålt
Moonshot AI släppte Kimi K3 den 16 juli, en modell på ungefär 2,8 biljoner parametrar med ett kontextfönster på en miljon token. Den 20 juli publicerade bolaget ett meddelande till sina användare som beskrev begränsningar i beräkningskapaciteten och en paus i abonnemangsförsäljningen. Förfrågningarna under de första 48 timmarna hade, enligt bolaget, vida överstigit prognoserna och fört det befintliga beräkningsklustret nära full kapacitet.
Åtgärden var att sluta sälja. Moonshot sade sig omedelbart pausa nya konsumentabonnemang och ägna alla tillgängliga beräkningsresurser åt nuvarande abonnenter så att deras tjänst förblev opåverkad, medan bolaget byggde ut infrastrukturen och öppnade platser i omgångar. Detta är inte ett avbrott och inte en prishöjning. Det är en leverantör som tackar nej till nya intäkter därför att den inte kan betjäna dem.
Ransoneringsregeln är den del som är värd att läsa
När utbudet tröt blev det hur länge man varit kund, inte betalningsviljan, som fällde avgörandet. Befintliga abonnenter behöll sina förmåner intakta. Tilltänkta kunder, däribland varje europeiskt team som ägnat helgen åt att utvärdera K3 och tänkt teckna på måndagen, fick helt enkelt nej. På en marknad där köpare är vana vid att kapacitet är ett löst problem bakom ett kreditkort är det en obekant form av misslyckande.
Det är samtidigt ett försvarbart val, och det förtjänar att sägas. Att försämra tjänsten för betalande användare i syfte att ta in fler av dem hade varit det sämre beslutet. Men följden för en köpare är konkret: ett tidigt öppnat konto är inte bara ett billigare konto, det är ett anspråk på ett knappt utbud. Det är en egenskap hos köpet som ingen benchmarktabell registrerar.
Ett benchmark förutsätter att ni kan köpa saken
Två dagar före pausen hade oberoende utvärdering placerat K3 högst upp på en välbevakad topplista för frontend-kodning, före de bästa slutna modellerna. Det resultatet var verkligt och det var användbart. Det förutsatte också tyst någonting som visade sig falskt, nämligen att ett team som övertygats av siffran sedan skulle kunna agera på den.
Den praktiska korrigeringen är liten och billig. När ni utvärderar en hostad modell, notera två saker till vid sidan av pris och resultat: vad leverantören säger om kapacitetsmarginal, och vad den faktiskt gjort när efterfrågan översteg utbudet. På den andra frågan har Moonshot nu gett ett offentligt svar, vilket är mer än de flesta leverantörer har. Behandla den öppenheten som information och inte som en anmärkning.
Vad som ändras den 27 juli
Moonshot har uppgett att de fullständiga K3-vikterna ska publiceras den 27 juli. Om det håller flyttar begränsningen. En modell ni kan hosta själva begränsas av de acceleratorer ni kan hyra eller äga, inte av ett annat bolags kö, och för en europeisk aktör flyttar det också frågan om datalagringsort till mark ni själva råder över.
Ekonomin ändras snarare än försvinner. K3 har prissatts till ungefär 3 dollar per miljon indatatoken och 15 dollar per miljon utdatatoken, omkring 13 euro för det senare, och att själv driva en modell i den här storleksklassen är inget man gör i förbifarten. Den ärliga formuleringen är att den 27 juli omvandlar ett köproblem till ett kapital- och ingenjörsproblem. För vissa arbetslaster är det ett bättre problem. För de flesta är det helt enkelt ett annat.
Vad ni bör göra före nästa modellåtagande
Konfigurera och testa regelbundet en andra leverantör för varje arbetsflöde som en modell numera sitter inuti. Testet väger tyngre än konfigurationen, för en reservväg som ingen har övat är en plan och inte en förmåga. Håll omkopplingen på nivån av er egen kod i stället för att luta er mot en leverantörsabstraktion som ni också skulle förlora.
Avgör därefter medvetet om ni köper förmåga eller kapacitet. Om modellen verkligen bär intäkter är ett tidigt abonnemang och reserverad genomströmning värda att betala för innan ni behöver dem, utifrån den här veckans erfarenhet. Är användningen utforskande kostar kön er ingenting, och då ska ni inte betala för att slippa den.
Läs vidare: Moonshots största modell har inget tankereglage | Alibaba teg om siffran som sätter er kostnad
