Louer l'IA de frontière est désormais un choix, pas une obligation

L'équipe derrière PyTorch vient de fixer le prix du marché des modèles ouverts

Fireworks, fondée en 2022 par des ingénieurs qui ont construit PyTorch chez Meta, a levé cette semaine 1,5 milliard de dollars dans un tour mené par Atreides Management, Index Ventures et TCV, avec Nvidia et Lightspeed parmi les investisseurs. La valorisation, 17,5 milliards de dollars, n'est pas l'histoire. Ce que l'entreprise vend l'est.

Fireworks ne propose pas d'assistant de conversation. Elle exploite les modèles que d'autres entreprises choisissent, de plus en plus ouverts, et le fait vite et à grande échelle. Sa propre formule est nette : les entreprises ne louent plus d'intelligence générale, elles construisent la leur. Une activité de service a atteint un chiffre d'affaires de 1 milliard de dollars sur cette exacte prémisse.

Pourquoi c'est important : louer n'est plus le seul choix raisonnable par défaut

L'hypothèse par défaut des trois dernières années était que l'intelligence de frontière se loue au jeton. Cela avait du sens tant que les modèles ouverts étaient loin derrière. Cela en a moins depuis que les modèles ouverts approchent la qualité de frontière fermée sur de nombreuses tâches, et les chiffres montrent où va l'usage réel : plus de 95 pour cent des 40 000 milliards de jetons quotidiens de Fireworks tournent sur des modèles ajustés aux données propres.

C'est le signal pour le propriétaire. Les charges qui dominent la production, classification, extraction, support, assistance au code, sont de plus en plus servies par un modèle plus petit façonné sur les données d'une entreprise plutôt que par un modèle général loué à prix fort. La frontière mène encore sur le raisonnement le plus dur, mais elle n'est plus le choix automatique pour tout.

La tension avec Nvidia qu'il faut remarquer

Nvidia a mis de l'argent dans la couche qui réduit le nombre de ses puces qu'un client doit acheter directement. Une entreprise qui exploite des modèles ouverts sur une infrastructure partagée permet à un acheteur moyen d'éviter de monter sa propre flotte d'accélérateurs. Que Nvidia le finance quand même vous dit que le fondeur attend la croissance de l'inférence hébergée et louée, pas seulement de la vente de silicium à chaque acheteur.

Pour vous, la lecture est simple. Les pioches et les pelles du virage vers les modèles ouverts sont désormais bien financées. L'inférence hébergée sur des poids ouverts n'est pas une expérience marginale maintenue en vie par la trésorerie d'une start-up, c'est une catégorie avec une ancre de 17,5 milliards de dollars et un milliard de revenus annuels derrière elle.

Pourquoi les propriétaires en Europe et au Royaume-Uni devraient relire ceci

À qui appartient le modèle que vous exploitez décide où vont vos données. Un appel au jeton vers une interface de frontière américaine envoie votre requête, et souvent les données de votre client à l'intérieur, à un service externe sous une autre juridiction. Un modèle ouvert ajusté, exploité sur une plateforme que vous choisissez, garde ce chemin bien plus sous votre contrôle, ce qui sous le RGPD et les règles à venir sur les données pèse plus que pour un acheteur américain.

L'économie va dans le même sens. À volume élevé et stable, le coût en euros de la capacité que vous réservez reste en général sous le prix élevé au jeton de la frontière. Un tour de cette taille, environ 1,4 milliard d'euros, est le pari du marché que les acheteurs européens et d'autres sensibles au coût continueront dans cette voie.

Ce qu'il faut changer dans votre façon de planifier

Vérifiez lesquelles de vos charges ont vraiment besoin du raisonnement de frontière et lesquelles y tournent par habitude. Les charges stables et à haut volume sont les premières candidates à passer sur un modèle ouvert ajusté, où vous payez pour de la capacité au lieu d'un supplément par appel. Gardez la frontière pour le travail vraiment difficile et à faible volume, où son avantage mérite le prix.

Ensuite, surveillez la nouvelle dépendance. Elle ne disparaît pas, elle se déplace. Au lieu d'un unique fournisseur de modèle, votre risque passe à celui qui héberge votre inférence. Choisissez une couche de service que vous pouvez quitter, gardez vos poids affinés portables, et traitez le contrat d'hébergement avec la même rigueur que vous donniez jadis à la licence du modèle.

À lire ensuite: Même un laboratoire à mille milliards doit louer son calcul  |  Samsung dépasse Nvidia sur le bénéfice