Um modelo de fronteira deixou de aceitar clientes

Quatro dias do lançamento ao esgotamento

A Moonshot AI lançou o Kimi K3 a 16 de julho, um modelo de cerca de 2,8 biliões de parâmetros com uma janela de contexto de um milhão de tokens. A 20 de julho a empresa publicou um aviso aos utilizadores em que descrevia restrições de capacidade de cálculo e uma suspensão de subscrições. Os pedidos das primeiras 48 horas, referiu, tinham ultrapassado largamente as suas projeções e levado o cluster de cálculo existente para perto da capacidade máxima.

O remédio foi deixar de vender. A Moonshot disse ter decidido suspender de imediato as novas subscrições de consumo e dedicar todos os recursos de cálculo disponíveis aos subscritores atuais, para que o serviço destes se mantivesse inalterado, enquanto ampliava a infraestrutura e reabria lugares por lotes. Isto não é uma indisponibilidade nem um aumento de preço. É um fornecedor a recusar receita nova porque não a consegue servir.

A regra de racionamento é a parte que vale a pena ler

Quando a oferta escasseou, o critério de desempate foi a antiguidade e não a disposição para pagar. Os subscritores existentes mantiveram os seus benefícios intactos. Aos clientes potenciais, incluindo qualquer equipa europeia que tivesse passado o fim de semana a avaliar o K3 e planeasse assinar na segunda-feira, foi simplesmente dito que não. Num mercado em que os compradores estão habituados a que a capacidade seja um problema resolvido atrás de um cartão de crédito, essa é uma forma de falha pouco familiar.

É também uma escolha defensável, e há que reconhecê-lo. Degradar o serviço dos utilizadores pagantes para dar entrada a mais teria sido a pior decisão. Mas a consequência para um comprador é concreta: uma conta aberta cedo não é apenas uma conta mais barata, é um direito sobre uma oferta escassa. Essa é uma propriedade da compra que nenhuma tabela de benchmark regista.

Um benchmark pressupõe que consegue comprar o produto

Dois dias antes da suspensão, uma avaliação independente tinha colocado o K3 no topo de uma tabela muito seguida de programação front-end, à frente dos melhores modelos fechados. Esse resultado era real e era útil. Pressupunha também em silêncio algo que se revelou falso, ou seja, que uma equipa convencida pelo número pudesse depois agir em conformidade.

A correção prática é pequena e barata. Quando avaliar um modelo alojado, registe mais duas coisas ao lado do preço e da pontuação: o que o fornecedor diz sobre a margem de capacidade e o que fez efetivamente quando a procura excedeu a oferta. À segunda pergunta a Moonshot deu agora uma resposta pública, o que é mais do que a maioria dos fornecedores tem. Trate essa transparência como informação e não como um demérito.

O que muda a 27 de julho

A Moonshot afirmou que os pesos completos do K3 deverão ser publicados a 27 de julho. Se isso se confirmar, a restrição desloca-se. Um modelo que possa alojar fica limitado pelos aceleradores que conseguir alugar ou possuir, e não pela fila de outra empresa, e para um operador europeu isso desloca também a questão da residência dos dados para terreno que controla.

A economia muda em vez de desaparecer. O K3 foi tarifado a cerca de 3 dólares por milhão de tokens de entrada e 15 dólares por milhão de saída, cerca de 13 euros para estes últimos, e alojar por conta própria um modelo desta classe de dimensão não é um empreendimento ligeiro. O enquadramento honesto é que 27 de julho converte um problema de fila num problema de capital e de engenharia. Para algumas cargas de trabalho é um problema melhor. Para a maioria é simplesmente um problema diferente.

O que fazer antes do próximo compromisso com um modelo

Configure e teste periodicamente um segundo fornecedor para qualquer fluxo de trabalho dentro do qual já se encontre um modelo. O teste conta mais do que a configuração, porque uma alternativa que ninguém exercitou é um plano e não uma capacidade. Mantenha a comutação ao nível do seu próprio código em vez de depender de uma abstração do fornecedor que também perderia.

Depois decida deliberadamente se está a comprar desempenho ou capacidade. Se o modelo sustenta mesmo a receita, a subscrição antecipada e o débito reservado valem o que custam antes de precisar deles, à luz do que esta semana mostrou. Se o uso for exploratório, a fila não lhe custa nada e não deve pagar para a saltar.

Leia a seguir: O maior modelo da Moonshot não tem regulador de esforço  |  A Alibaba omitiu o número que fixa o seu custo