OpenNebula Systems présente les défis de l'IA dans son récent rapport. Parmi les principaux défis, on peut citer : la disponibilité des données, l'évolutivité des systèmes centralisés, les contraintes de puissance et les subtilités de la fabrication des accélérateurs. En ce qui concerne la consommation d'énergie, on aura besoin de 50 à 5 000 fois plus d'énergie que ce qui est utilisé aujourd'hui.L'IA, et l'IA générative en particulier, devrait considérablement améliorer la productivité des processus de travail. Certaines études estiment que l'IA générative pourrait contribuer à l'économie à hauteur de 2,6 à 4,4 milliards de dollars par an. Cependant, l'infrastructure de l'IA est coûteuse car les problèmes algorithmiques sous-jacents sont extrêmement gourmands en calcul, ce qui signifie qu'il existe un écart potentiel entre la demande et la capacité nécessaire pour y répondre.
De plus, afin de mettre à l'échelle la taille des modèles d'IA, les grands modèles de langage (LLM) sont généralement formés selon des lois de mise à l'échelle neuronale. Ces relations impliquent que l'augmentation de la taille des ensembles de données d'entraînement est cruciale pour améliorer efficacement les performances des LLM. Selon une étude, si les tendances actuelles de développement du LLM se poursuivent, les modèles seront entraînés sur des ensembles de données d'une taille à peu près égale au stock disponible de données textuelles humaines publiques entre 2026 et 2032, ou légèrement plus tôt si les modèles sont surentraînés.
Un nouveau rapport d'OpenNebula Systems identifie les principaux défis, notamment la disponibilité des données, l'évolutivité des systèmes centralisés, les contraintes de puissance et les subtilités de la fabrication des accélérateurs. Le rapport estime que cette année, un seul entraînement d'IA nécessitera une performance d'un exaflop (un exaflop c'est 1018), avec des projections atteignant entre 100 et 10 000 exaflop/s d'ici à 2030.
Les chercheurs ont analysé les 10 meilleurs modèles LLM (c'est-à-dire ceux publiés par OpenAI, Google DeepMind et Meta) en termes de calcul, et ont estimé que leurs besoins en matière de traitement de l'entraînement ont augmenté d'un facteur de quatre à cinq fois par an depuis 2010. Si cette tendance se poursuit au même rythme, d'ici 2030, la demande de calcul pour la formation à l'IA sera 10 000 fois plus élevée.📊 We’ve created clear infographics to break down the key points from our industry report on the capacity gap analysis for AI processing.
— OpenNebula Systems (@opennebula) December 6, 2024
For a deeper dive, access the full report here: https://t.co/oal4B4dUyc#AI #generativeAI #IPCEICIS #ONEnextgen #8ra pic.twitter.com/CMGT2v3QIi
Diverses études indiquent que la consommation d'électricité des centres de données devrait augmenter de 5 % par an jusqu'en 2030, soit une multiplication par 1,5 à 2 des niveaux actuels d'ici là. Selon le rapport, "d'un point de vue stratégique, le moyen le plus efficace de répondre aux futurs besoins de traitement de l'IA est de développer de nouveaux systèmes distribués et décentralisés. L'exploitation d'un continuum de ressources HPC, cloud et edge sera cruciale pour répondre aux demandes de traitement intensif de l'apprentissage de l'IA et aux exigences de faible latence de l'inférence de l'IA."
Ce rapport confirme les récentes initiatives de Google. En effet, le géant de la technologie semble conscient que le réseau électrique des États-Unis n'est pas capable de répondre aux besoins élevés de l'IA. Les centres de données d'IA sont notoirement responsables de la montée en flèche de la consommation d'énergie et, au rythme actuel, ils devraient bientôt consommer plus d'énergie que nous n'en produisons actuellement.
Ainsi, les futurs centres de données de Google seront construits à proximité de parcs solaires et éoliens qui fourniront directement l'électricité nécessaire aux installations. L'entreprise affirme que cela permettrait de soulager le réseau électrique américain déjà affaibli et d'améliorer la fiabilité pour les consommateurs d'énergie. La première phase de développement de cette infrastructure devrait être opérationnelle d'ici à 2026 et représente un investissement total de 20 milliards de dollars.
OpenNebula Systems résume son rapport :
L'IA est en train de devenir le changement de paradigme le plus important de l'histoire, avec un impact direct sur l'économie mondiale. L'IA générative, en particulier, devrait considérablement améliorer la productivité des processus de travail. Certaines études estiment que l'IA générative pourrait contribuer à hauteur de 2,6 à 4,4 billions de dollars par an - à titre de comparaison, le PIB total de l'UE en 2023 était de 17,1 billions de dollars. Ce rapport industriel estime les besoins informatiques actuels et prévus pour la formation et l'inférence de l'IA générative en 2024 et 2030, tout en identifiant les principaux défis et les solutions potentielles pour répondre à ces demandes.
Les principaux défis du développement de l'IA sont la disponibilité des données, les limites d'évolutivité des systèmes centralisés, les contraintes de puissance et les difficultés de fabrication des accélérateurs. D'ici 2030, la création de nouveaux systèmes distribués et décentralisés pour l'entraînement à l'IA - en tirant parti d'un continuum de ressources HPC, cloud et edge - sera un aspect essentiel pour répondre aux demandes de traitement de l'entraînement à l'IA et aux exigences de faible latence de l'inférence de l'IA.
Cela souligne l'urgence d'une collaboration étroite entre les supercalculateurs, l'informatique en nuage et l'informatique en périphérie, ainsi que le développement d'une plateforme de gestion et d'orchestration pour créer des environnements en nuage qui répondent aux exigences des flux de travail de traitement de l'IA et aux exigences de haute performance et de faible latence de leurs composants.
Les principaux défis du développement de l'IA sont la disponibilité des données, les limites d'évolutivité des systèmes centralisés, les contraintes de puissance et les difficultés de fabrication des accélérateurs. D'ici 2030, la création de nouveaux systèmes distribués et décentralisés pour l'entraînement à l'IA - en tirant parti d'un continuum de ressources HPC, cloud et edge - sera un aspect essentiel pour répondre aux demandes de traitement de l'entraînement à l'IA et aux exigences de faible latence de l'inférence de l'IA.
Cela souligne l'urgence d'une collaboration étroite entre les supercalculateurs, l'informatique en nuage et l'informatique en périphérie, ainsi que le développement d'une plateforme de gestion et d'orchestration pour créer des environnements en nuage qui répondent aux exigences des flux de travail de traitement de l'IA et aux exigences de haute performance et de faible latence de leurs composants.
Voici les défis en matière de formation à l'IA selon le rapport d'OpenNebula Systems :
Défis en matière de formation à l'IA
Alors que l'on estime que les données mondiales doublent tous les 2 à 3 ans, les ensembles de données de modélisation linguistique se développent à un rythme encore plus rapide de 2,9 fois par an. Les plus grands modèles actuels s'appuient déjà sur des ensembles de données contenant des dizaines de milliers de milliards de mots. On estime que le stock total de textes générés par l'homme et accessibles au public s'élève à environ 300 000 milliards de jetons. Si les tendances de croissance actuelles se poursuivent, les modèles de langage devraient utiliser pleinement ce stock de textes disponibles entre 2026 et 2032. Ce délai pourrait encore se raccourcir avec la possibilité d'un surentraînement, avec des modèles qui utilisent moins de paramètres et plus de données.
Les défis à relever pour combler le fossé entre la demande croissante de modèles de langage de plus grande taille et le stock limité de textes accessibles au public comprennent la disponibilité et l'épuisement des données, la qualité et la conservation des données, la génération de données synthétiques, ainsi que la protection de la vie privée et les considérations d'ordre éthique. Les données ouvertes joueront un rôle essentiel pour surmonter ces obstacles et stimuler le développement des futurs systèmes d'IA.
La formation de l'IA en 2030 nécessitera des systèmes capables de fournir entre 100 et 10 000 exaflop/s. La performance du superordinateur TOP500 le plus performant a doublé tous les deux ans au cours de la dernière décennie. D'ici 2030, les meilleurs systèmes HPC et GPU accélérés en nuage aux États-Unis devraient atteindre respectivement 20 exaflop/s et 200 exaflop/s, tandis que dans l'UE, ils devraient atteindre 5 exafl op/s et 20 exaflop/s. Cela représente une augmentation des performances d'environ 10 fois.
Dans le scénario de pointe, les États-Unis et l'UE devraient présenter un écart de performance de x100 et x1000, respectivement. Si on prévoit de s'appuyer sur des superordinateurs centralisés pour le traitement de l'IA, on aura besoin d'avancées technologiques et architecturales significatives pour augmenter leurs performances de x10 à x1 000 par rapport à l'évolution moyenne observée au cours des dernières décennies.
En ce qui concerne la consommation d'énergie, diverses études indiquent que la consommation d'électricité des centres de données devrait augmenter de 5 % par an jusqu'en 2030, soit une augmentation de 1,5 à 2 fois les niveaux actuels d'ici là. On aura besoin de 50 à 5 000 fois plus d'énergie que ce qui est utilisé aujourd'hui. Toutefois, ce besoin pourrait être réduit en menant des recherches sur du matériel plus efficace, une programmation logicielle optimisée et des centres de données économes en énergie, entre autres innovations.
En ce qui concerne la chaîne d'approvisionnement, NVIDIA, avec une part de marché de 90 %, a connu une croissance explosive en 2023, avec la livraison d'environ 3,76 millions de GPU pour centres de données. Cela représente une augmentation de plus d'un million d'unités par rapport à 2022, lorsque les expéditions ont totalisé 2,64 millions d'unités, soit une augmentation annuelle de 40 %. Si cette tendance se poursuit, les livraisons pourraient être multipliées par 10 d'ici à 2030. Étant donné que le flop/s par dollar double environ tous les 2,5 ans, les performances d'un GPU devraient être multipliées par 10 d'ici à 2030.
Toutefois, pour répondre à la demande croissante d'accélérateurs d'IA dans le scénario de pointe, on aurait besoin d'une augmentation supplémentaire de x100 par rapport aux niveaux de production actuels. Il est donc urgent de concevoir et de fabriquer de nouveaux accélérateurs, car la production de GPU nécessaire dépasse de loin les capacités actuelles.
Le rapport n'a pas pris en compte les changements de paradigme dans le développement du calcul, tels que l'informatique quantique, qui pourrait créer une structure de marché entièrement nouvelle et une capacité de calcul beaucoup plus élevée.
À propos d'OpenNebula Systems
OpenNebula Systems développe OpenNebula et fournit un support et des services professionnels basés sur des accords de niveau de service à sa communauté d'utilisateurs professionnels. En mettant l'accent sur la simplicité, la flexibilité et l'indépendance vis-à-vis des fournisseurs, OpenNebula offre des solutions complètes de cloud et de périphérie pour les infrastructures de cloud privé, hybride et de périphérie des entreprises. La plateforme de l'entreprise combine l'agilité des clouds publics avec le contrôle des clouds privés, permettant aux organisations de répondre aux besoins évolutifs des développeurs et des pratiques DevOps.
Source : OpenNebula Systems
Et vous ?
Pensez-vous que ce rapport est crédible ou pertinent ? Quel est votre avis sur le sujet ?Voir aussi :
L'énergie, et non la puissance de calcul, sera le premier goulot d'étranglement pour les progrès de l'IA, d'après Mark Zuckerberg Les entreprises d'IA sont-elles à court de données pour entraîner leurs modèles après avoir englouti l'ensemble de l'Internet ? Un rapport alerte sur une potentielle pénurie de données L'informatique quantique va-t-elle renforcer l'IA et transformer notre compréhension de la réalité ? Elle pourrait donner à l'IA le carburant dont elle a besoin pour se transformer 
