Een frontier-model neemt geen klanten meer aan

Vier dagen van lancering tot uitverkocht

Moonshot AI bracht Kimi K3 uit op 16 juli, een model van ruwweg 2,8 biljoen parameters met een contextvenster van een miljoen tokens. Op 20 juli publiceerde het bedrijf een bericht aan zijn gebruikers over beperkingen in de rekencapaciteit en een opschorting van abonnementen. De verzoeken in de eerste 48 uur waren, zo stelde het, ver boven de prognoses uitgeschoten en hadden het bestaande rekencluster dicht bij de maximale capaciteit gebracht.

Het middel was te stoppen met verkopen. Moonshot zei nieuwe consumentenabonnementen onmiddellijk op te schorten en alle beschikbare rekenmiddelen aan huidige abonnees te wijden zodat hun dienst onaangetast bleef, terwijl het de infrastructuur uitbreidde en plaatsen in porties heropende. Dit is geen storing en geen prijsverhoging. Dit is een leverancier die nieuwe omzet afwijst omdat hij die niet kan bedienen.

De rantsoeneringsregel is het deel dat u moet lezen

Toen het aanbod krap werd, gaf de duur van het lidmaatschap de doorslag, niet de bereidheid te betalen. Bestaande abonnees behielden hun voordelen volledig. Kandidaat-klanten, waaronder elk Europees team dat het weekend aan de beoordeling van K3 had besteed en maandag wilde tekenen, kregen simpelweg nee te horen. In een markt waarin kopers gewend zijn dat capaciteit achter een creditcard een opgelost probleem is, is dat een onbekende vorm van falen.

Het is ook een verdedigbare keuze, en dat verdient erkenning. De dienst laten verslechteren voor betalende gebruikers om er meer binnen te halen was de slechtere beslissing geweest. Maar het gevolg voor een koper is concreet: een vroeg geopend account is niet alleen een goedkoper account, het is een aanspraak op schaars aanbod. Dat is een eigenschap van de aankoop die geen enkele benchmarktabel vastlegt.

Een benchmark gaat ervan uit dat u het ding kunt kopen

Twee dagen voor de opschorting had onafhankelijke evaluatie K3 bovenaan gezet op een breed gevolgde ranglijst voor frontend-programmeren, voor de beste gesloten modellen. Dat resultaat was echt en het was bruikbaar. Het ging stilzwijgend ook uit van iets dat onjuist bleek, namelijk dat een team dat door het cijfer werd overtuigd er vervolgens naar kon handelen.

De praktische correctie is klein en goedkoop. Leg bij de beoordeling van een gehost model naast prijs en score nog twee dingen vast: wat de aanbieder zegt over capaciteitsmarge, en wat hij daadwerkelijk heeft gedaan toen de vraag het aanbod oversteeg. Op die tweede vraag heeft Moonshot nu publiek antwoord gegeven, en dat is meer dan de meeste leveranciers hebben. Behandel die openheid als informatie en niet als een minpunt.

Wat er verandert op 27 juli

Moonshot heeft gezegd dat de volledige K3-gewichten op 27 juli worden gepubliceerd. Als dat standhoudt, verschuift de beperking. Een model dat u zelf kunt hosten wordt begrensd door de versnellers die u kunt huren of bezitten, niet door de wachtrij van een ander bedrijf, en voor een Europese exploitant verplaatst dat ook de vraag naar dataresidentie naar grond die u zelf beheert.

De economie verandert in plaats van te verdwijnen. K3 is geprijsd op ongeveer 3 dollar per miljoen invoertokens en 15 dollar per miljoen uitvoertokens, ongeveer 13 euro voor het laatste, en een model van deze omvang zelf hosten is geen terloopse onderneming. De eerlijke formulering is dat 27 juli een wachtrijprobleem omzet in een kapitaal- en engineeringprobleem. Voor sommige werklasten is dat een beter probleem. Voor de meeste is het eenvoudigweg een ander.

Wat te doen voor uw volgende modelkeuze

Richt een tweede aanbieder in en test die periodiek voor elke werkstroom waar inmiddels een model in zit. De test telt zwaarder dan de inrichting, want een terugvaloptie die niemand heeft beproefd is een plan en geen capaciteit. Houd de omschakeling op het niveau van uw eigen code in plaats van te leunen op een leveranciersabstractie die u dan ook kwijt zou raken.

Beslis vervolgens bewust of u vermogen koopt of capaciteit. Als het model werkelijk dragend is voor de omzet, zijn een vroeg abonnement en gereserveerde doorvoer het waard om voor te betalen voordat u ze nodig hebt, op grond van wat deze week liet zien. Is het verkennend, dan kost de wachtrij u niets en moet u niet betalen om haar over te slaan.

Lees hierna: Moonshots grootste model heeft geen denkknop  |  Alibaba verzweeg het getal dat uw kosten bepaalt