OpenNebula Systems présente les défis de l'IA dans son récent rapport. Parmi les principaux défis, on peut citer : la disponibilité des données, l'évolutivité des systèmes centralisés, les contraintes de puissance et les subtilités de la fabrication des accélérateurs. En ce qui concerne la consommation d'énergie, on aura besoin de 50 à 5 000 fois plus d'énergie que ce qui est utilisé aujourd'hui.L'IA, et l'IA générative en particulier, devrait considérablement améliorer la productivité des processus de travail. Certaines études estiment que l'IA générative pourrait contribuer à l'économie à hauteur de 2,6 à 4,4 milliards de dollars par an. Cependant, l'infrastructure de l'IA est coûteuse car les problèmes algorithmiques sous-jacents sont extrêmement gourmands en calcul, ce qui signifie qu'il existe un écart potentiel entre la demande et la capacité nécessaire pour y répondre.
De plus, afin de mettre à l'échelle la taille des modèles d'IA, les grands modèles de langage (LLM) sont généralement formés selon des lois de mise à l'échelle neuronale. Ces relations impliquent que l'augmentation de la taille des ensembles de données d'entraînement est cruciale pour améliorer efficacement les performances des LLM. Selon une étude, si les tendances actuelles de développement du LLM se poursuivent, les modèles seront entraînés sur des ensembles de données d'une taille à peu près égale au stock disponible de données textuelles humaines publiques entre 2026 et 2032, ou légèrement plus tôt si les modèles sont surentraînés.
Un nouveau rapport d'OpenNebula Systems identifie les principaux défis, notamment la disponibilité des données, l'évolutivité des systèmes centralisés, les contraintes de puissance et les subtilités de la fabrication des accélérateurs. Le rapport estime que cette année, un seul entraînement d'IA nécessitera une performance d'un exaflop (un exaflop c'est 1018), avec des projections atteignant entre 100 et 10 000 exaflop/s d'ici à 2030.
Les chercheurs ont analysé les 10 meilleurs modèles LLM (c'est-à-dire ceux publiés par OpenAI, Google DeepMind et Meta) en termes de calcul, et ont estimé que leurs besoins en matière de traitement de l'entraînement ont augmenté d'un facteur de quatre à cinq fois par an depuis 2010. Si cette tendance se poursuit au même rythme, d'ici 2030, la demande de calcul pour la formation à l'IA sera 10 000 fois plus élevée.
Diverses études indiquent que la consommation d'électricité des centres de données devrait augmenter de 5 % par an jusqu'en 2030, soit une multiplication par 1,5 à 2 des niveaux actuels d'ici là. Selon le rapport, "d'un point de vue stratégique, le moyen le plus efficace de répondre aux futurs besoins de traitement de l'IA est de développer de nouveaux systèmes distribués et décentralisés. L'exploitation d'un continuum de ressources HPC, cloud et edge sera cruciale pour répondre aux demandes de traitement intensif de l'apprentissage de l'IA et aux exigences de faible latence de l'inférence de l'IA."
Ce rapport confirme les récentes initiatives de Google. En effet, le géant de la technologie semble conscient que le réseau électrique des États-Unis n'est pas capable de répondre aux besoins élevés de l'IA. Les centres de données d'IA sont notoirement responsables de la montée en flèche de la consommation d'énergie et, au rythme actuel, ils devraient bientôt consommer plus d'énergie que nous n'en produisons actuellement.
Ainsi, les futurs centres de données de Google seront construits à proximité de parcs solaires et éoliens qui fourniront directement l'électricité nécessaire aux installations. L'entreprise affirme que cela permettrait de soulager le réseau électrique américain déjà affaibli et d'améliorer la fiabilité pour les consommateurs d'énergie. La première phase de développement de cette infrastructure devrait être opérationnelle d'ici à 2026 et représente un investissement total de 20 milliards de dollars.
OpenNebula Systems résume son rapport :
L'IA est en train de devenir le changement de paradigme le plus important de l'histoire, avec un impact direct sur l'économie mondiale. L'IA générative, en particulier, devrait considérablement améliorer la productivité des processus de travail. Certaines études estiment que l'IA générative pourrait contribuer à hauteur de 2,6 à 4,4 billions de dollars par an - à titre de comparaison, le PIB total de l'UE en 2023...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
