Dario Amodei, PDG d'Anthropic, prévoit que d'ici 2027, la formation des modèles d'IA pourrait coûter jusqu'à 100 milliards de dollars. Il souligne que le développement de l'IA est un processus continu, qui s'apparente à l'apprentissage humain, et prévoit que les futurs modèles d'IA seront meilleurs que la plupart des humains dans la plupart des domaines.Dario Amodei est un chercheur et entrepreneur italo-américain spécialisé dans l'intelligence artificielle. Il est cofondateur et PDG d'Anthropic, la société à l'origine de la grande série de modèles de langage Claude AI. Il a également été le vice-président de la recherche chez OpenAI.
Anthropic PBC est une startup américaine d'intelligence artificielle (IA) d'intérêt public, fondée en 2021 par Daniela Amodei et Dario Amodei, anciens membres d'OpenAI. La startup recherche et développe l'IA pour "étudier ses propriétés de sécurité à la frontière technologique" et utiliser cette recherche pour déployer des modèles sûrs et fiables pour le public. Anthropic a développé une famille de grands modèles de langage (LLM) nommée Claude pour concurrencer ChatGPT d'OpenAI et Gemini de Google.
Un grand modèle de langage (LLM) est un modèle informatique qui se distingue par sa capacité à générer du langage à des fins générales et à réaliser d'autres tâches de traitement du langage naturel, telles que la classification. Basés sur des modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte au cours d'un processus d'apprentissage auto-supervisé et semi-supervisé à forte intensité de calcul. Les LLM peuvent être utilisés pour la génération de textes, une forme d'IA générative, en prenant un texte en entrée et en prédisant de manière répétée le prochain mot ou token. Plus spécifiquement, les LLM sont des réseaux neuronaux artificiels qui utilisent l'architecture du transformateur, inventée en 2017. Les LLM les plus grands et les plus performants, depuis juin 2024, sont construits avec une architecture basée uniquement sur un transformateur décodeur, ce qui permet un traitement et une génération efficaces de données textuelles à grande échelle.
Anthropic CEO Dario Amodei says by 2027 AI models will cost up to $100 billion to train and will be "better than most humans at most things" pic.twitter.com/Ay5qtY3sN6
— Tsarathustra (@tsarnick) June 27, 2024
Envoyé par Dario Amodei
Je l'ai dit à plusieurs reprises, mais il y a dix ans, lorsque tout cela relevait de la science-fiction, je parlais beaucoup de l'AGI. Aujourd'hui, j'ai une perspective différente et je ne pense pas qu'il s'agisse d'un point dans le temps. Je pense simplement que nous sommes sur une courbe exponentielle régulière, et que les modèles s'améliorent de plus en plus au fil du temps.
Il n'y a pas de moment précis où l'on se dit : "Oh, les modèles n'étaient pas généralement intelligents, et maintenant ils le sont". Je pense simplement que, comme un enfant humain qui apprend et se développe, ils deviennent de plus en plus performants, de plus en plus intelligents ou de plus en plus compétents. Je ne pense pas qu'il y aura un seul point de repère, mais je pense qu'il se produit un phénomène où, au fil du temps, ces modèles deviennent de plus en plus performants, même par rapport aux meilleurs humains.
Je pense que si nous continuons à augmenter l'échelle, le montant du financement des modèles, s'il atteint disons 10 milliards de dollars. [Actuellement, un modèle coûterait quoi, 100 millions de dollars ?] Pour l'instant, 100 millions de dollars. Certains modèles en cours de formation coûtent plus d'un milliard de dollars. Je pense que si nous passons à 10 ou 100 milliards, et je pense que cela se produira en 2025, 2026, peut-être 2027, et que les améliorations algorithmiques se poursuivent à un rythme soutenu et que les améliorations des puces se poursuivent également à un rythme soutenu, alors je pense qu'il y a, à mon avis, de bonnes chances que d'ici là nous soyons en mesure d'obtenir des modèles qui soient meilleurs que la plupart des humains dans la plupart des domaines.
Il n'y a pas de moment précis où l'on se dit : "Oh, les modèles n'étaient pas généralement intelligents, et maintenant ils le sont". Je pense simplement que, comme un enfant humain qui apprend et se développe, ils deviennent de plus en plus performants, de plus en plus intelligents ou de plus en plus compétents. Je ne pense pas qu'il y aura un seul point de repère, mais je pense qu'il se produit un phénomène où, au fil du temps, ces modèles deviennent de plus en plus performants, même par rapport aux meilleurs humains.
Je pense que si nous continuons à augmenter l'échelle, le montant du financement des modèles, s'il atteint disons 10 milliards de dollars. [Actuellement, un modèle coûterait quoi, 100 millions de dollars ?] Pour l'instant, 100 millions de dollars. Certains modèles en cours de formation coûtent plus d'un milliard de dollars. Je pense que si nous passons à 10 ou 100 milliards, et je pense que cela se produira en 2025, 2026, peut-être 2027, et que les améliorations algorithmiques se poursuivent à un rythme soutenu et que les améliorations des puces se poursuivent également à un rythme soutenu, alors je pense qu'il y a, à mon avis, de bonnes chances que d'ici là nous soyons en mesure d'obtenir des modèles qui soient meilleurs que la plupart des humains dans la plupart des domaines.
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous les prédictions de M. Amodei crédibles ou pertinentes ?Voir aussi :
Le PDG d'Anthropic estime que le coût de la formation d'un modèle d'IA atteindra bientôt 100 milliards de dollars, ce qui suggère que les entreprises échouent à réduire les coûts liés au développement de l'IA Le PDG d'Anthropic estime qu'un revenu de base universel n'est pas suffisant pour remédier aux pertes d'emplois liées à l'IA, «si la technologie évolue rapidement, nous devrons trouver une solution rapidement» D'ici l'année prochaine, les modèles d'IA pourraient être capables de « se répliquer et de survivre dans la nature », une affirmation pour le moins surprenante du PDG d'Anthropic 
