Et førende AI-lab indrømmer: modellen er ikke bedst

Den sætning, et førende AI-lab normalt ikke skriver

Nede i Thinking Machines Labs meddelelse om Inkling den 15. juli står en linje, som intet andet førende AI-lab har villet trykke. Modellen er, skrev virksomheden, "ikke den stærkeste samlede model, der findes i dag." Derefter beskrev den, hvad Inkling så er i stedet: "en god base med åbne vægte til tilpasning." Hver eneste modellancering de seneste tre år er begyndt med en benchmarkgraf. Denne her begyndte med en begrænsning.

Læs det som strategi, ikke som beskedenhed. Mira Murati, tidligere teknologidirektør i OpenAI, grundlagde Thinking Machines og brugte cirka ni måneder på at få en model i frontklassen ud ad døren, mod noget nærmere fem år for OpenAI og tre for Anthropic. Laboratoriet beskæftiger omkring 200 mennesker og mistede to medstiftere til OpenAI i januar. En virksomhed i den position vinder ikke et benchmarkkapløb mod laboratorier med hundrede gange så stort et computebudget. Så den meldte sig ud af kapløbet.

Det brugbare for enhver, der køber AI, er, at en ærlig begrænsning er information, man kan planlægge efter. En leverandør, der praler af den højeste score på en offentlig rangliste, fortæller jer om et tal, der bliver slået inden for få uger, sandsynligvis før jeres indkøbsproces overhovedet er færdig. En leverandør, der fortæller jer, hvad produktet ikke er, har givet jer noget holdbart. Det er sjældnere, end det burde være, og det er mere værd, end det ser ud til.

Hvad der faktisk ligger i kassen

Inkling er en mixture-of-experts-transformer med 975 milliarder parametre i alt og 41 milliarder aktive ad gangen. Den er fortrænet på 45 billioner tokens på tværs af tekst, billeder, lyd og video og understøtter et kontekstvindue på op til 1 million tokens. Den ræsonnerer på tværs af tekst, billeder og lyd, men skriver indtil videre kun tekst tilbage, herunder kode og strukturerede data. En lettere variant, Inkling-Small, har 276 milliarder parametre i alt og 12 milliarder aktive.

To designvalg røber, hvad den er optimeret til. Modellen giver adgang til styrbar tænkeindsats, så den, der kalder, kan afveje ræsonnementsdybde mod tokenforbrug fra forespørgsel til forespørgsel, og det er en omkostningsknap, de fleste API'er ikke rækker jer. Thinking Machines valgte også relative positionsindlejringer frem for RoPE og oplyser, at de ekstrapolerer bedre til længere sekvenser. Virksomheden angiver, at Inkling bruger omkring en tredjedel så mange tokens som Nvidias Nemotron 3 Ultra for tilsvarende kodepræstation. På en forbrugsafregnet regning er tokeneffektivitet ikke en teknisk detalje.

Tjek de praktiske tal, før I hæfter jer ved dem i overskrifterne. Vægtene ligger på Hugging Face, og Inkling er tilgængelig gennem Tinker, virksomhedens finjusteringsplatform, ved kontekstlængder på 64.000 og 256.000 tokens, indtil videre med 50 procent rabat i en begrænset periode. Bemærk hullet: modellen understøtter op til en million tokens kontekst, mens den hostede platform lige nu tilbyder en fjerdedel af det. Afhænger jeres anvendelse af hele vinduet, skal I selv hoste den, og at hoste en model med 975 milliarder parametre er en alvorlig infrastrukturforpligtelse og ikke en eftermiddags arbejde.

Den åbne front er en fælles arv nu

Oplysningen om herkomst i denne udgivelse fortjener mere opmærksomhed end parametertallet. Thinking Machines oplyser, at Inklings mixture-of-experts-design i vid udstrækning følger DeepSeek-V3 med 256 routede eksperter og to delte eksperter, hvor seks routede eksperter er aktive per token. Virksomheden brugte også modeller med åbne vægte, heriblandt Moonshot AIs Kimi K2.5, til at generere data til den tidlige eftertræning, før den store forstærkningslæring gik i gang. Et laboratorium i San Francisco, grundlagt af OpenAIs tidligere teknologidirektør, byggede sin arkitektur på et kinesisk laboratoriums offentliggjorte design og fik den op at køre med endnu et kinesisk laboratoriums model.

Sådan ser en åben front ud i praksis. Ikke et kapløb om at plante flag mellem to blokke, men en fælles teknisk arv, der flyder i alle retninger og ikke spørger om lov ved en grænse. Ingeniørarbejdet flyttede fra Hangzhou og Beijing til San Francisco, fordi det var offentliggjort, og resultatet blev selv offentliggjort igen.

For en europæisk ejer har det en konkret og usentimental værdi. Adgang til en hostet frontmodel er et kommercielt forhold, der er underlagt beslutninger om politik, priser og tilgængelighed truffet i en anden jurisdiktion, som enhver, hvis model blev lanceret i 47 lande, men ikke i EU, allerede har måttet lære. Et downloadet sæt åbne vægte er en anden slags aktiv. Det bliver ikke begrænset, prissat om eller udfaset under fødderne på jer, for I har det allerede. Det er ikke et argument for, at åbne vægte er bedre. Det er et argument for, at de fejler anderledes, og at vide, hvordan en afhængighed fejler, er det meste af, hvad indkøb går ud på.

Om det her er et køb, I bør foretage

Skillelinjen går mellem at leje intelligens og at eje en kompetence. Er jeres AI-arbejde bredt, varieret og under forandring fra uge til uge, så lej: betal per token for den bedste hostede model, og skift, når en bedre dukker op, for det, I køber, er fleksibilitet. Er arbejdet snævert, gentaget, af stort omfang og specifikt for jeres forretning, kan en base, I finjusterer og beholder, slå en generel model, der aldrig har set jeres fagområde, og omkostningen holder op med at vokse med forbruget.

Vær ærlig om, hvad tilpasning kræver, for det er her, planen normalt brister. Finjustering kræver træningsdata, I faktisk ejer og har lov til at bruge. Det kræver et evalueringssæt bygget på jeres virkelige arbejde og ikke på et offentligt benchmark, ellers har I ingen måde at vide, om jeres udgave er bedre end den, I startede med. Og det kræver en navngiven person, der ejer modellen i drift, for en finjusteret model, som ingen vedligeholder, forfalder stille, mens forretningen ændrer sig omkring den. Mangler bare én af de tre ting, er en base med åbne vægte en download og ikke en kompetence.

Den ærlige læsning af Inkling er, at indrømmelsen er selve funktionen. Thinking Machines har fortalt jer, hvad modellen ikke er, og så står kun ét spørgsmål tilbage: om tilpasningsevne er det, I har brug for. For de fleste virksomheder med en håndfuld generelle AI-opgaver er den det ikke, og så er leje fortsat det rigtige. For det mindre antal med et snævert problem i stort omfang og ægte egne data er en base, I kan eje og forme, et reelt anderledes økonomisk tilbud end forbrugsafregnet adgang til en andens model. Mange danske virksomheder sidder på præcis den profil: årtiers ensartet dokument- og sagsbehandling i eget hus, ofte med persondata, som af databeskyttelseshensyn helst ikke skal forlade huset. Begge veje kan forsvares. At købe den anden, mens man budgetterer efter den første, kan ikke.

Læs videre: Kina giver sine toplaboratorier lov til at købe H200  |  En kinesisk model svarer måske på dine prompts