Czołówka AI przyznaje: nasz model nie jest najlepszy

Zdanie, którego czołowe laboratorium zwykle nie pisze

W ogłoszeniu laboratorium Thinking Machines o modelu Inkling z 15 lipca kryje się zdanie, którego nie odważyło się opublikować żadne inne czołowe laboratorium. Model, jak napisała firma, "nie jest najmocniejszym ogólnie modelem dostępnym dzisiaj". Dalej pada opis tego, czym Inkling ma być zamiast tego: "dobrą bazą o otwartych wagach do dostosowywania". Każda premiera modelu z ostatnich trzech lat zaczynała się od wykresu z benchmarkami. Ta zaczęła się od ograniczenia.

Warto czytać to jako strategię, nie jako skromność. Mira Murati, wcześniej dyrektor techniczna OpenAI, założyła Thinking Machines i w około dziewięć miesięcy dowiozła model w skali frontier, podczas gdy OpenAI potrzebowało na to bliżej pięciu lat, a Anthropic trzech. Laboratorium zatrudnia około 200 osób, a w styczniu straciło dwóch współzałożycieli, którzy odeszli do OpenAI. Firma w takiej pozycji nie wygra wyścigu na benchmarki z laboratoriami mającymi stukrotnie większy budżet na moc obliczeniową. Więc do tego wyścigu nie stanęła.

Dla każdego, kto kupuje AI, uczciwie nazwane ograniczenie jest informacją, na której da się oprzeć plan. Dostawca chwalący się najwyższym wynikiem w publicznym rankingu mówi o liczbie, która zostanie pobita w ciągu kilku tygodni, całkiem możliwe, że jeszcze zanim skończy się proces zakupowy. Dostawca, który mówi, czym jego produkt nie jest, daje coś trwałego. To rzadsze, niż być powinno, i warte więcej, niż wygląda.

Co naprawdę jest w pudełku

Inkling to transformer typu mixture-of-experts z 975 miliardami parametrów łącznie i 41 miliardami aktywnymi w danej chwili. Wstępnie wytrenowano go na 45 bilionach tokenów obejmujących tekst, obrazy, dźwięk i wideo, a okno kontekstu sięga miliona tokenów. Model rozumuje na tekście, obrazach i dźwięku, choć na razie odpowiada wyłącznie tekstem, w tym kodem i danymi strukturalnymi. Lżejszy wariant, Inkling-Small, ma 276 miliardów parametrów łącznie i 12 miliardów aktywnych.

Dwie decyzje projektowe pokazują, pod co ten model jest zoptymalizowany. Inkling udostępnia sterowalny wysiłek myślenia, pozwalając wymieniać głębokość rozumowania na zużycie tokenów w każdym zapytaniu z osobna, a to dźwignia kosztowa, której większość API nie oddaje klientowi do ręki. Thinking Machines wybrało też względne osadzenia pozycyjne zamiast RoPE, raportując, że lepiej ekstrapolują na dłuższe sekwencje. Firma podaje, że przy porównywalnej jakości kodowania Inkling zużywa około jednej trzeciej tokenów, których potrzebuje Nemotron 3 Ultra od Nvidii. Na rachunku rozliczanym licznikiem efektywność tokenowa nie jest szczegółem technicznym.

Zanim spojrzy się na liczby z nagłówka, warto sprawdzić te praktyczne. Wagi są na Hugging Face, a Inkling jest dostępny przez Tinker, firmową platformę do dostrajania, przy długości kontekstu 64 000 i 256 000 tokenów, obecnie z rabatem 50% przez ograniczony czas. Widać lukę: model obsługuje do miliona tokenów kontekstu, a zarządzana platforma oferuje dziś jedną czwartą tego. Jeśli zastosowanie wymaga pełnego okna, trzeba je hostować u siebie, a własny hosting modelu o 975 miliardach parametrów to poważne zobowiązanie infrastrukturalne, a nie robota na jedno popołudnie.

Otwarta granica AI jest już wspólnym dziedzictwem

Szczegół o pochodzeniu tego modelu zasługuje na więcej uwagi niż liczba parametrów. Thinking Machines podaje, że projekt mixture-of-experts w Inklingu w dużej mierze idzie za DeepSeek-V3: 256 ekspertów routowanych i dwóch ekspertów współdzielonych, z sześcioma routowanymi ekspertami aktywnymi na token. Do wygenerowania danych na wczesny post-trening, przed uczeniem ze wzmocnieniem na dużą skalę, firma użyła modeli o otwartych wagach, między innymi Kimi K2.5 od Moonshot AI. Laboratorium z San Francisco, założone przez byłą dyrektor techniczną OpenAI, oparło swoją architekturę na opublikowanym projekcie chińskiego laboratorium i rozruszało ją modelem innego chińskiego laboratorium.

Tak właśnie w praktyce wygląda otwarta granica. Nie jako wyścig dwóch bloków o zatknięcie flagi, lecz jako wspólne dziedzictwo techniczne, które płynie w każdą stronę i nie pyta o zgodę na granicy. Inżynieria przeszła z Hangzhou i Pekinu do San Francisco, bo została opublikowana, a wynik również opublikowano.

Dla europejskiego właściciela firmy ma to konkretną i pozbawioną sentymentu wartość. Dostęp do hostowanego modelu z czołówki to relacja handlowa zależna od decyzji o polityce, cenniku i dostępności podejmowanych w innej jurysdykcji, o czym przekonał się już każdy, czyj model wystartował w 47 krajach, ale nie w Unii Europejskiej. Pobrany zestaw otwartych wag to aktywo innego rodzaju. Nie zostanie ograniczone, przecenione ani wycofane spod nóg, bo firma już je ma. W polskich firmach, w których dane klientów objęte RODO i zapisami umów nie mogą opuszczać własnej infrastruktury, ten argument bywa rozstrzygający, zanim ktokolwiek spojrzy na cennik. To nie jest teza, że otwarte wagi są lepsze. To teza, że zawodzą inaczej, a wiedza o tym, w jaki sposób zawodzi dana zależność, stanowi większość sensu procesu zakupowego.

Czy to zakup, który warto zrobić

Linia podziału biegnie między wynajmem inteligencji a posiadaniem zdolności. Jeśli praca z AI jest szeroka, zmienna i co tydzień wygląda inaczej, lepiej wynajmować: płacić za tokeny najlepszego hostowanego modelu i przesiadać się, gdy pojawi się lepszy, bo kupuje się wtedy elastyczność. Jeśli praca jest wąska, powtarzalna, o dużym wolumenie i specyficzna dla firmy, dostosowywalna baza, którą się dostraja i zatrzymuje, potrafi pobić model ogólny, który nigdy nie widział tej dziedziny, a jej koszt przestaje rosnąć wraz z użyciem.

Trzeba uczciwie nazwać, czego wymaga dostosowanie, bo właśnie w tym miejscu plany zwykle się rozsypują. Dostrajanie potrzebuje danych treningowych, które firma naprawdę ma i może wykorzystać. Potrzebuje zestawu ewaluacyjnego zbudowanego z realnej pracy, a nie z publicznego benchmarku, bo inaczej nie sposób stwierdzić, czy własna wersja jest lepsza od punktu wyjścia. I potrzebuje imiennie wskazanej osoby, która odpowiada za model na produkcji, bo dostrojony model, którego nikt nie utrzymuje, po cichu traci formę, gdy biznes wokół niego się zmienia. Brak choćby jednego z tych trzech elementów sprawia, że baza o otwartych wagach jest plikiem do pobrania, a nie zdolnością.

Uczciwa lektura Inklinga brzmi tak: to przyznanie się jest funkcją produktu. Thinking Machines powiedziało, czym ten model nie jest, więc zostaje jedno pytanie: czy adaptowalność jest tym, czego firma potrzebuje. Dla większości firm prowadzących kilka ogólnych zadań AI nie jest, i wynajem pozostaje właściwym wyborem. Dla mniejszej grupy, która ma wąski problem o dużym wolumenie i prawdziwe dane własne, baza, którą można mieć na własność i kształtować, to naprawdę inna propozycja ekonomiczna niż rozliczany licznikiem dostęp do cudzego modelu. Obie decyzje da się obronić. Kupowanie tej drugiej przy budżecie ułożonym pod pierwszą - już nie.

Czytaj dalej: Chiny pozwalają swoim laboratoriom kupić H200  |  Chiński model może właśnie odpowiadać na twoje prompty