Fire dage fra lancering til udsolgt

Moonshot AI udgav Kimi K3 den 16. juli, en model på omkring 2,8 billioner parametre med et kontekstvindue på en million tokens. Den 20. juli offentliggjorde virksomheden en meddelelse til sine brugere, der beskrev begrænsninger i beregningskapaciteten og en pause i abonnementssalget. Forespørgslerne i de første 48 timer havde ifølge virksomheden langt overskredet prognoserne og bragt den eksisterende beregningsklynge tæt på maksimal kapacitet.

Løsningen var at holde op med at sælge. Moonshot oplyste, at man øjeblikkeligt satte nye forbrugerabonnementer på pause og ville vie alle tilgængelige beregningsressourcer til nuværende abonnenter, så deres tjeneste forblev upåvirket, mens infrastrukturen blev udvidet og pladser åbnet igen i hold. Dette er ikke et nedbrud og ikke en prisstigning. Det er en leverandør, der siger nej til ny omsætning, fordi den ikke kan betjene den.

Rationeringsreglen er den del der er værd at læse

Da udbuddet slap op, blev det anciennitet og ikke betalingsvilje, der afgjorde sagen. Eksisterende abonnenter beholdt deres fordele uændret. Mulige kunder, herunder ethvert europæisk team der havde brugt weekenden på at vurdere K3 og planlagde at binde sig om mandagen, fik ganske enkelt et nej. På et marked, hvor købere er vant til at kapacitet er et løst problem bag et betalingskort, er det en ukendt form for svigt.

Det er samtidig et forsvarligt valg, og det bør anerkendes. At forringe tjenesten for betalende brugere for at lukke flere ind ville have været den dårligere beslutning. Men konsekvensen for en køber er konkret: en konto oprettet tidligt er ikke bare en billigere konto, den er et krav på et knapt udbud. Det er en egenskab ved købet, som ingen benchmarktabel registrerer.

Et benchmark forudsætter at I kan købe varen

To dage før pausen havde en uafhængig evaluering placeret K3 øverst på en meget fulgt rangliste for frontend-kodning, foran de bedste lukkede modeller. Det resultat var ægte, og det var brugbart. Det forudsatte samtidig stiltiende noget, der viste sig at være forkert, nemlig at et team, der blev overbevist af tallet, bagefter kunne handle på det.

Den praktiske rettelse er lille og billig. Når I vurderer en hostet model, så noter to ting mere ved siden af pris og resultat: hvad leverandøren siger om kapacitetsmargin, og hvad den faktisk gjorde, da efterspørgslen oversteg udbuddet. På det andet spørgsmål har Moonshot nu givet et offentligt svar, hvilket er mere end de fleste leverandører har. Behandl den åbenhed som information og ikke som en anmærkning.

Hvad der ændrer sig den 27. juli

Moonshot har oplyst, at de fulde K3-vægte efter planen offentliggøres den 27. juli. Hvis det holder, flytter begrænsningen sig. En model, I selv kan hoste, er begrænset af de acceleratorer, I kan leje eller eje, ikke af en anden virksomheds kø, og for en europæisk aktør flytter det også spørgsmålet om datalagringssted over på jord, I selv råder over.

Økonomien ændrer sig frem for at forsvinde. K3 er blevet prissat til omkring 3 dollar per million input-tokens og 15 dollar per million output-tokens, cirka 13 euro for det sidste, og selv at hoste en model i denne størrelsesklasse er ingen let sag. Den ærlige udlægning er, at den 27. juli forvandler et køproblem til et kapital- og ingeniørproblem. For nogle arbejdsbyrder er det et bedre problem. For de fleste er det ganske enkelt et andet.

Hvad I bør gøre før næste modelbeslutning

Opsæt og afprøv jævnligt en anden leverandør til ethvert arbejdsforløb, som en model nu sidder inde i. Afprøvningen vejer tungere end opsætningen, for en nødløsning, ingen har trænet, er en plan og ikke en evne. Hold omskiftningen på niveau med jeres egen kode i stedet for at læne jer op ad en leverandørabstraktion, som I også ville miste.

Beslut derefter bevidst, om I køber kunnen eller kapacitet. Hvis modellen reelt bærer omsætning, er tidligt abonnement og reserveret gennemløb værd at betale for, før I får brug for dem, ud fra det denne uge viste. Er brugen udforskende, koster køen jer ingenting, og så skal I ikke betale for at springe den over.

Læs videre: Moonshots største model har ingen tænkeknap  |  Alibaba fortav tallet der fastsætter jeres pris