Cztery dni od premiery do wyczerpania miejsc

Moonshot AI udostępnił Kimi K3 16 lipca, model liczący około 2,8 biliona parametrów z oknem kontekstu o wielkości miliona tokenów. 20 lipca firma opublikowała komunikat dla użytkowników opisujący ograniczenia mocy obliczeniowej i zawieszenie subskrypcji. Zapytania z pierwszych 48 godzin, jak podano, znacznie przekroczyły prognozy i zbliżyły istniejący klaster obliczeniowy do maksymalnej wydajności.

Środkiem zaradczym było wstrzymanie sprzedaży. Moonshot oświadczył, że natychmiast zawiesza nowe subskrypcje konsumenckie i przeznaczy wszystkie dostępne zasoby obliczeniowe dla obecnych subskrybentów, aby ich usługa pozostała nienaruszona, podczas gdy firma rozbudowuje infrastrukturę i partiami otwiera kolejne miejsca. To nie jest awaria ani podwyżka ceny. To dostawca, który odrzuca nowe przychody, bo nie jest w stanie ich obsłużyć.

Zasada racjonowania to część warta przeczytania

Gdy podaż się skończyła, rozstrzygnął staż, a nie gotowość do zapłaty. Obecni subskrybenci zachowali swoje uprawnienia w całości. Potencjalni klienci, w tym każdy europejski zespół, który spędził weekend na ocenie K3 i planował podpisać umowę w poniedziałek, po prostu usłyszeli odmowę. Na rynku, gdzie kupujący są przyzwyczajeni, że moc obliczeniowa to problem rozwiązany za pomocą karty kredytowej, jest to nieznana postać niepowodzenia.

Jest to zarazem wybór możliwy do obrony i warto to przyznać. Pogorszenie usługi płacącym użytkownikom po to, by przyjąć ich więcej, byłoby gorszą decyzją. Dla kupującego konsekwencja jest jednak konkretna: konto założone wcześnie to nie tylko tańsze konto, to roszczenie do ograniczonej podaży. Jest to cecha zakupu, której nie odnotowuje żadna tabela benchmarków.

Benchmark zakłada, że da się ten produkt kupić

Dwa dni przed zawieszeniem niezależna ocena umieściła K3 na szczycie szeroko śledzonego rankingu programowania front-end, przed najlepszymi modelami zamkniętymi. Ten wynik był prawdziwy i był użyteczny. Milcząco zakładał jednak coś, co okazało się nieprawdą, mianowicie że zespół przekonany liczbą będzie mógł następnie na jej podstawie działać.

Praktyczna korekta jest niewielka i tania. Oceniając hostowany model, proszę odnotować obok ceny i wyniku jeszcze dwie rzeczy: co dostawca mówi o zapasie mocy obliczeniowej i co faktycznie zrobił, gdy popyt przewyższył podaż. Na to drugie pytanie Moonshot udzielił teraz publicznej odpowiedzi, a to więcej, niż ma do pokazania większość dostawców. Proszę traktować tę otwartość jako informację, a nie jako zarzut.

Co zmienia się 27 lipca

Moonshot zapowiedział, że pełne wagi K3 mają zostać opublikowane 27 lipca. Jeśli termin się utrzyma, ograniczenie się przesuwa. Model, który mogą Państwo hostować samodzielnie, jest ograniczony przez akceleratory, jakie da się wynająć lub posiadać, a nie przez kolejkę innej firmy, a dla europejskiego operatora przenosi to również kwestię miejsca przechowywania danych na grunt, który Państwo kontrolują.

Ekonomika się zmienia, zamiast zniknąć. K3 wyceniono na około 3 dolary za milion tokenów wejściowych i 15 dolarów za milion wyjściowych, czyli mniej więcej 13 euro za te drugie, a samodzielne hostowanie modelu tej klasy wielkości nie jest przedsięwzięciem na marginesie. Uczciwe ujęcie brzmi tak, że 27 lipca zamienia problem kolejki w problem kapitału i inżynierii. Dla części obciążeń jest to problem lepszy. Dla większości jest to po prostu problem inny.

Co zrobić przed kolejnym zobowiązaniem wobec modelu

Proszę skonfigurować i okresowo testować drugiego dostawcę dla każdego procesu, w którym model już się znajduje. Test waży więcej niż konfiguracja, ponieważ rozwiązanie zapasowe, którego nikt nie przećwiczył, jest planem, a nie zdolnością. Proszę utrzymywać przełączanie na poziomie własnego kodu, zamiast polegać na abstrakcji dostawcy, którą również by Państwo utracili.

Następnie proszę świadomie zdecydować, czy kupują Państwo możliwości, czy moc obliczeniową. Jeśli model rzeczywiście dźwiga przychody, wczesna subskrypcja i zarezerwowana przepustowość są warte zapłaty, zanim staną się potrzebne, w świetle tego, co pokazał ten tydzień. Jeśli zastosowanie jest rozpoznawcze, kolejka nic nie kosztuje i nie warto płacić za jej ominięcie.

Czytaj dalej: Największy model Moonshota nie ma pokrętła myślenia  |  Alibaba przemilczała liczbę wyznaczającą wasz koszt