Le PDG d'Anthropic estime que le coût de la formation d'un modèle d'IA atteindra bientôt 100 milliards de dollars,

Ce qui suggère que les entreprises échouent à réduire les coûts liés au développement de l'IA

Dario Amodei, PDG d'Anthropic, a déclaré que le coût de développement d'un grand modèle de langage (LLM) est actuellement estimé à 100 millions de dollars. Mais ce coût augmente de façon exponentielle et pourrait franchir la barre des 100 milliards de dollars dans les années à venir. Il affirme que ce coût faramineux pourrait s'expliquer par la recherche d'algorithmes d'IA de plus en plus efficaces et d'éventuelles difficultés en matière de puissance de calcul et d'approvisionnement en puces d'IA. Ses déclarations donnent une idée des investissements colossaux qu'exige le développement de l'IA et des difficultés des entreprises à réduire ces coûts au fil des ans.

Les coûts liés à la formation des modèles d'IA augmentent de façon exponentielle

Un modèle d'IA est un programme qui analyse des ensembles de données pour trouver des modèles spécifiques et faire des prédictions. Il s'agit d'une illustration d'un système qui peut recevoir des données et tirer des conclusions ou mener des actions en fonction de ces conclusions. Les modèles d'IA peuvent être utilisés pour toute une série d'activités, de la reconnaissance d'images et de vidéos au traitement du langage naturel (NLP), en passant par les systèmes de recommandation et la modélisation prédictive, ainsi que la robotique et les systèmes de contrôle. Toutefois, leur formation a un coût excessif pour les entreprises.

Anthropic CEO Dario Amodei says the cost of AI models will soon scale to the $100 billion range pic.twitter.com/sZdpwo6Ski

— Tsarathustra (@tsarnick) May 10, 2024

Selon les experts, le coût de la formation d'un modèle n'a cessé d'augmenter depuis plusieurs années. Bien que des entreprises comme OpenAI et Google ne divulguent pas les coûts précis de la formation de modèles d'IA comme GPT-4 et Gemini, il est évident qu'il s'agit d'une activité extrêmement coûteuse. Et plus ces modèles dits "frontières" deviennent grands et performants, plus leur formation est coûteuse. Lorsqu'OpenAI a publié GPT-3 en 2020, le fournisseur de services cloud Lambda a estimé la formation du modèle, qui compte 175 millions de paramètres, a coûté plus de 4,6 millions de dollars à la société d'IA.

OpenAI n'a pas révélé la taille de GPT-4 et refuse de divulguer toute information à propos du modèle pour raisons commerciales et de concurrences. Mais certaines analyses suggèrent que GPT-4 compterait 1 000 à 1 800 milliards de paramètres et le PDG d'OpenAI, Sam Altman, a vaguement évalué le coût de l'entraînement à plus de 100 millions de dollars. Dario Amodei, cofondateur et PDG d'Anthropic, déclarait en août que des modèles coûtant plus d'un milliard de dollars apparaîtraient cette année et que d'ici 2025, nous pourrions avoir un modèle de 10 milliards de dollars. Amodei vient de revoir à la hausse cette estimation.

Lors d'une interview avec Bloomberg la semaine dernière, le PDG d'Anthopic a déclaré que la formation d'un modèle pourrait coûter jusqu'à 100 milliards de dollars dans un avenir proche. Il s'agit d'un investissement colossal que seules quelques entreprises pourraient être capables de supporter. Amodei a déclaré :


Dario Amodei a cofondé Anthropic avec sa sœur Daniela en 2021. Autrefois chercheurs principaux chez OpenAI, les deux ont démissionné fin 2020 pour créer leur propre entreprise d'IA, avec l'objectif de construire des systèmes d'IA puissants et intelligents, mais aussi alignés sur les valeurs humaines. « Nous avons quitté OpenAI parce que nous étions préoccupés par la direction à prendre », a déclaré Daniela Amodei, présidente d'Anthropic, lors de l'interview.

[B]Le coût de la formation pourrait bientôt devenir difficile à supporter pour les entreprises[...