Meta, qui développe Llama, l'un des plus grands modèles de langage (LLM) open source, affirme qu'il aura besoin de beaucoup plus de puissance de calcul pour former ses modèles à l'avenir. Le PDG Mark Zuckerberg a déclaré lors de la conférence téléphonique sur les résultats du deuxième trimestre de Meta que pour entraîner le Llama 4, l'entreprise aura besoin de 10 fois plus de puissance de calcul que pour l'entraînement du Llama 3. Meta veut faire de Llama 4 le modèle le plus avancé sur le marché l'année prochaine, mais cela risque d'avoir un coût colossal pour le climat. L'IA est devenue un gouffre financier avec un impact considérable sur le climat.Llama 4 va nécessiter une infrastructure 10 fois plus puissante que celle de Llama 3
Zuckerberg a déclaré aux investisseurs : « la quantité de calcul nécessaire pour entraîner Llama 4 sera probablement près de 10 fois supérieures à celle que nous avons utilisée pour entraîner le Llama 3, et les futurs modèles continueront à se développer au-delà de cela. Il est difficile de prédire l'évolution des modèles sur plusieurs générations dans le futur. Mais à ce stade, je préfère prendre le risque de développer la capacité avant qu'elle ne soit nécessaire plutôt que trop tard, étant donné les longs délais de mise en place de nouveaux projets d'inférence ». L'augmentation de la puissance devrait coûter excessivement cher.
Meta a déclaré aux actionnaires que l'IA générative ne lui rapporterait pas d'argent cette année, mais que les investissements massifs qu'il prévoit seront rentabilisés au fil du temps, et seront configurés de manière à ne pas être limités aux charges de travail de formation. L'entreprise précise que ses dépenses d'investissement pour l'ensemble de l'année se situeraient entre 37 et 40 milliards de dollars, soit une augmentation de 2 milliards de dollars par rapport aux prévisions précédentes. Elle a aussi invité les investisseurs à s'attendre à des augmentations "significatives" des dépenses d'investissement l'année prochaine.
Les analystes financiers présents lors de la conférence de presse ont insisté pour savoir si toutes ces dépenses se transformeraient en liquidités. Mais la directrice financière Susan Li a déclaré que Meta ne tirera pas de revenus provenant de l'IA générative cette année. Elle a expliqué que le kit utilisé par Meta pour la formation de modèles peut également être utilisé pour l'inférence. La directrice financière de Meta a déclaré aux actionnaires : « nous pouvons également l'utiliser pour le classement et les recommandations en apportant certaines modifications, comme l'ajout d'une capacité de calcul et de stockage générale ».
Elle a ajouté : « nous employons une stratégie de mise en scène de nos sites de centres de données, à différentes phases de développement, ce qui nous permet de nous adapter pour répondre à une plus grande demande et à un délai plus court si nécessaire, tout en limitant les dépenses que nous nous engageons à faire dans les années à venir ». Les outils de recommandation de contenu de Meta utilisent déjà ce que Meta appelle "Core AI", dont Zuckerberg a dit aux investisseurs qu'il améliorait l'engagement des utilisateurs en poussant plus de choses qu'ils veulent dans leurs fils d'actualité Facebook et Instagram.
La course à l'IA est devenue trop coûteuse et les résultats ne sont pas à la hauteur
Susan Li a déclaré que l'entreprise réfléchissait à différents projets de centres de données et à la création de capacités pour former les futurs modèles d'IA. Elle a ajouté que Meta s'attend à ce que cet investissement augmente les dépenses en capital en 2025. La formation de modèles est devenue une activité coûteuse. Les données indiquent que les dépenses en capital de Meta ont augmenté de près de 33 % pour atteindre 8,5 milliards de dollars au deuxième trimestre 2024, contre 6,4 milliards de dollars un an plus tôt, en raison des investissements dans les serveurs, les centres de données et l'infrastructure de réseau.
Susan Li a déclaré lors de l'appel : « au fur et à mesure que nous augmentons la capacité de formation à l'IA pour faire progresser nos modèles de base, nous continuerons à construire notre infrastructure d'une manière qui nous donne de la flexibilité dans la façon dont nous l'utilisons au fil du temps. Cela nous permettra d'orienter la capacité de formation vers l'inférence de l'IA...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.