Il team dietro PyTorch ha appena dato un prezzo al business dei modelli aperti

Fireworks, fondata nel 2022 da ingegneri che hanno costruito PyTorch in Meta, ha raccolto questa settimana 1,5 miliardi di dollari in un round guidato da Atreides Management, Index Ventures e TCV, con Nvidia e Lightspeed tra i finanziatori. La valutazione, 17,5 miliardi di dollari, non è la notizia. Lo è ciò che l'azienda vende.

Fireworks non offre un assistente di conversazione. Gestisce i modelli che altre aziende scelgono, sempre più spesso aperti, e lo fa in fretta e su larga scala. La sua stessa formula è netta: le aziende non affittano più intelligenza generale, costruiscono la propria. Un'attività di servizio è cresciuta fino a un fatturato di 1 miliardo di dollari su questa esatta premessa.

Perché conta: affittare non è più l'unica scelta sensata di default

Il presupposto di default degli ultimi tre anni era che l'intelligenza di frontiera si affitta a token. Aveva senso finché i modelli aperti restavano molto indietro. Ne ha meno ora che i modelli aperti si avvicinano alla qualità di frontiera chiusa in molti compiti, e i numeri mostrano dove va l'uso reale: oltre il 95 per cento dei 40.000 miliardi di token giornalieri di Fireworks gira su modelli adattati ai dati propri.

Questo è il segnale per il proprietario. I carichi che dominano la produzione, classificazione, estrazione, assistenza, supporto al codice, sono serviti sempre più da un modello più piccolo modellato sui dati di un'azienda anziché da un modello generale affittato a prezzi alti. La frontiera guida ancora nel ragionamento più difficile, ma non è più la scelta automatica per tutto.

La tensione con Nvidia da notare

Nvidia ha messo denaro nel livello che riduce quanti dei suoi chip un cliente deve comprare direttamente. Un'azienda che gestisce modelli aperti su infrastruttura condivisa permette a un acquirente medio di evitare di allestire una propria flotta di acceleratori. Che Nvidia lo finanzi comunque vi dice che il produttore si aspetta la crescita dall'inferenza ospitata e affittata, non solo dalla vendita di silicio a ogni acquirente.

Per voi la lettura è semplice. I picconi e le pale della svolta verso i modelli aperti sono ora ben finanziati. L'inferenza ospitata su pesi aperti non è un esperimento marginale tenuto in vita dalla cassa di una start-up, è una categoria con un'ancora da 17,5 miliardi di dollari e un miliardo di ricavi annui alle spalle.

Perché i proprietari in Europa e nel Regno Unito dovrebbero rileggere

Di chi è il modello che gestite decide dove vanno i vostri dati. Una chiamata a token verso un'interfaccia di frontiera statunitense invia la vostra richiesta, e spesso i dati del vostro cliente al suo interno, a un servizio esterno sotto un'altra giurisdizione. Un modello aperto adattato, gestito su una piattaforma che scegliete voi, tiene quel percorso molto più sotto il vostro controllo, cosa che sotto il GDPR e le prossime regole sui dati pesa più che per un acquirente statunitense.

L'economia punta nella stessa direzione. A volume alto e stabile, il costo in euro della capacità che riservate sta di solito sotto il caro prezzo a token della frontiera. Un round di queste dimensioni, circa 1,4 miliardi di euro, è la scommessa del mercato che gli acquirenti europei e altri sensibili al costo continueranno su quella strada.

Cosa cambiare nel modo di pianificare

Verificate quali dei vostri carichi hanno davvero bisogno del ragionamento di frontiera e quali ci girano per abitudine. Quelli stabili e ad alto volume sono i primi candidati a passare a un modello aperto adattato, dove pagate per capacità invece di un sovrapprezzo a chiamata. Tenete la frontiera per il lavoro davvero difficile e a basso volume, dove il suo vantaggio merita il prezzo.

Poi osservate la nuova dipendenza. Non sparisce, si sposta. Invece di un unico fornitore di modello, il vostro rischio passa a chi ospita la vostra inferenza. Scegliete un livello di servizio che potete lasciare, tenete portabili i vostri pesi ottimizzati e trattate il contratto di hosting con lo stesso rigore che una volta davate alla licenza del modello.

Da leggere ora: Anche un laboratorio da mille miliardi affitta il calcolo  |  Samsung supera Nvidia per utile