A equipa por trás do PyTorch acabou de fixar o preço do negócio dos modelos abertos

A Fireworks, fundada em 2022 por programadores que construíram o PyTorch na Meta, angariou esta semana 1,5 mil milhões de dólares numa ronda liderada pela Atreides Management, Index Ventures e TCV, com a Nvidia e a Lightspeed entre os investidores. A avaliação, 17,5 mil milhões de dólares, não é a notícia. O que a empresa vende é que é.

A Fireworks não oferece um assistente de conversa. Opera os modelos que outras empresas escolhem, cada vez mais abertos, e fá-lo depressa e à escala. A sua própria fórmula é direta: as empresas já não alugam inteligência geral, constroem a sua própria. Um negócio de serviço cresceu até uma taxa de receita de mil milhões de dólares sobre essa mesma premissa.

Porque importa: alugar deixou de ser a única opção sensata por omissão

O pressuposto por omissão dos últimos três anos era que se aluga a inteligência de fronteira por token. Fazia sentido enquanto os modelos abertos ficavam muito atrás. Faz menos sentido agora que os modelos abertos se aproximam da qualidade de fronteira fechada em muitas tarefas, e os números mostram para onde vai o uso real: mais de 95 por cento dos 40 biliões de tokens diários da Fireworks correm em modelos ajustados a dados próprios.

Esse é o sinal para o proprietário. As cargas que dominam a produção, classificação, extração, apoio, assistência a código, são servidas cada vez mais por um modelo mais pequeno moldado aos dados de uma empresa em vez de um modelo geral alugado a preços altos. A fronteira continua a liderar no raciocínio mais difícil, mas já não é a escolha automática para tudo.

A tensão com a Nvidia que vale a pena notar

A Nvidia pôs dinheiro na camada que reduz quantos dos seus chips um cliente precisa de comprar diretamente. Uma empresa que opera modelos abertos em infraestrutura partilhada permite a um comprador médio evitar montar a sua própria frota de aceleradores. Que a Nvidia o financie mesmo assim diz-lhe que o fabricante espera o crescimento a partir da inferência alojada e alugada, não apenas da venda de silício a cada comprador.

Para si a leitura é simples. As picaretas e pás da viragem para os modelos abertos estão agora bem financiadas. A inferência alojada em pesos abertos não é uma experiência marginal mantida viva pela tesouraria de uma empresa emergente, é uma categoria com uma âncora de 17,5 mil milhões de dólares e mil milhões de dólares de receita anual por trás.

Porque os proprietários na Europa e no Reino Unido devem ler isto duas vezes

De quem é o modelo que opera decide para onde vão os seus dados. Uma chamada por token a uma interface de fronteira dos Estados Unidos envia o seu pedido, e muitas vezes os dados do seu cliente lá dentro, a um serviço externo sob outra jurisdição. Um modelo aberto ajustado, operado numa plataforma que você escolhe, mantém esse caminho muito mais sob o seu controlo, o que sob o RGPD e as próximas regras de dados pesa mais do que para um comprador dos Estados Unidos.

A economia aponta no mesmo sentido. Em volume alto e estável, o custo em euros da capacidade que reserva fica normalmente abaixo do preço caro por token na fronteira. Uma ronda deste tamanho, cerca de 1,4 mil milhões de euros, é a aposta do mercado em que os compradores europeus e outros sensíveis ao custo continuarão por esse caminho.

O que mudar na sua forma de planear

Verifique quais das suas cargas precisam mesmo de raciocínio de fronteira e quais correm lá por hábito. As estáveis e de alto volume são as primeiras candidatas a passar para um modelo aberto ajustado, onde paga por capacidade em vez de um acréscimo por chamada. Guarde a fronteira para o trabalho verdadeiramente difícil e de baixo volume, onde a sua vantagem justifica o preço.

Depois vigie a nova dependência. Não desaparece, desloca-se. Em vez de um único fornecedor de modelo, o seu risco passa para quem aloja a sua inferência. Escolha uma camada de serviço que possa deixar, mantenha os seus pesos afinados portáteis, e trate o contrato de alojamento com o mesmo rigor que outrora dava à licença do modelo.

Leia a seguir: Até um laboratório bilionário aluga a sua computação  |  Trimestre da Samsung bate a Nvidia no lucro