Lors d'un récent podcast, Mark Zuckerberg, PDG de Meta, a mis en évidence l'énergie comme étant un goulet d'étranglement critique pour les progrès de l'IA. Selon M. Zuckerberg, malgré les améliorations apportées à la production de GPU, les contraintes énergétiques restent importantes. La construction de clusters d'entraînement massifs nécessite une puissance immense et les obstacles réglementaires retardent encore plus les progrès, faisant des installations à grande échelle une entreprise de longue haleine. Toutefois, M. Zuckerberg a insisté sur la nécessité de surmonter ces goulets d'étranglement évolutifs sur la voie du progrès de l'IA.L'intelligence artificielle (IA), dans son sens le plus large, est l'intelligence dont font preuve les machines, en particulier les systèmes informatiques. Il s'agit d'un domaine de recherche en informatique qui développe et étudie des méthodes et des logiciels permettant aux machines de percevoir leur environnement et d'utiliser l'apprentissage et l'intelligence pour prendre des mesures qui maximisent leurs chances d'atteindre des objectifs définis. Ces machines peuvent être appelées « IA ».
Envoyé par Mark Zuckerberg
Ces dernières années, je pense qu'il y a eu un problème de production de GPU. Même les entreprises qui avaient les moyens de payer pour les GPU ne pouvaient pas nécessairement en produire autant qu'elles le voulaient en raison de toutes ces contraintes d'approvisionnement. Aujourd'hui, je pense que la situation s'améliore et qu'un certain nombre d'entreprises se disent : « Nous devrions investir beaucoup d'argent dans la construction de ces systèmes », et je pense que cela va durer un certain temps. Il y a une question de capital telle que : à quel moment cela ne vaut plus la peine d'investir, mais je pense qu'avant d'en arriver là, vous allez vous heurter à des contraintes en matière d'énergie.
C'est vrai, je ne pense pas que quelqu'un ait encore construit un cluster de formation unique d'un gigawatt. Je voudrais juste mettre les choses en perspective. Je pense qu'un gigawatt, c'est à peu près la taille d'une centrale nucléaire significative uniquement pour l'entraînement d'un modèle.
Et puis il y a ces aspects qui finissent par prendre du temps, comme l'obtention d'un permis d'exploitation de l'énergie qui est une fonction gouvernementale très réglementée. Et si l'on parle de construire de nouvelles grandes centrales électriques ou de grandes extensions et de construire des lignes de transmission qui traversent d'autres terrains privés ou publics, c'est une chose qui est très réglementée. Il s'agit donc d'un délai de plusieurs années, et si nous voulions mettre en place une installation massive pour alimenter tout cela, je pense qu'il s'agirait d'un projet à très long terme.
Je pense que nous pourrions probablement construire des clusters plus grands que ce que nous pouvons faire actuellement si nous pouvions obtenir l'énergie pour le faire, donc je pense qu'il est temps, mais cela dépend de l'ampleur des courbes exponentielles, et je pense qu'un certain nombre d'entreprises travaillent sur ce sujet.
Vous savez, à l'heure actuelle, je pense que beaucoup de centres de données sont de l'ordre de 50 mégawatts ou 100 mégawatts ou, pour les plus grands, de 150 mégawatts. Vous prenez donc un centre de données entier et vous le remplissez avec tout ce dont vous avez besoin pour la formation, et vous construisez le plus grand cluster possible. Je pense que c'est un peu ce que font un certain nombre d'entreprises. Mais quand vous commencez à construire un centre de données de 300 mégawatts, de 500 mégawatts ou un gigawatt, personne n'a encore construit un seul centre de données d'un gigawatt, donc je pense que cela arrivera, ce n'est qu'une question de temps, mais ce ne sera pas l'année prochaine. C'est l'une des choses les plus délicates au monde à planifier : lorsque vous avez une courbe exponentielle, combien de temps dure-t-elle ?
Je pense qu'il y a suffisamment de chances que cela continue pour que cela vaille la peine d'investir des dizaines ou des centaines de milliards de dollars dans la construction de l'infrastructure. On peut supposer que si cela continue, on obtiendra des choses vraiment extraordinaires qui feront des produits extraordinaires, mais je ne pense pas que quelqu'un dans l'industrie puisse vraiment vous dire que cela va continuer à se développer à ce rythme.
En général, dans l'histoire, il y a des goulots d'étranglement à certains moments, et maintenant il y a tellement d'énergie dans ce domaine que ces goulots d'étranglement seront peut-être éliminés assez rapidement. Mais je ne pense pas que ce soit quelque chose d'aussi magique que d'obtenir un certain niveau d'IA, un certain niveau de capital puis de l'investir et que tout d'un coup les modèles vont s'adapter, je pense qu'il y aura différents goulots d'étranglement en cours de route.
C'est vrai, je ne pense pas que quelqu'un ait encore construit un cluster de formation unique d'un gigawatt. Je voudrais juste mettre les choses en perspective. Je pense qu'un gigawatt, c'est à peu près la taille d'une centrale nucléaire significative uniquement pour l'entraînement d'un modèle.
Et puis il y a ces aspects qui finissent par prendre du temps, comme l'obtention d'un permis d'exploitation de l'énergie qui est une fonction gouvernementale très réglementée. Et si l'on parle de construire de nouvelles grandes centrales électriques ou de grandes extensions et de construire des lignes de transmission qui traversent d'autres terrains privés ou publics, c'est une chose qui est très réglementée. Il s'agit donc d'un délai de plusieurs années, et si nous voulions mettre en place une installation massive pour alimenter tout cela, je pense qu'il s'agirait d'un projet à très long terme.
Je pense que nous pourrions probablement construire des clusters plus grands que ce que nous pouvons faire actuellement si nous pouvions obtenir l'énergie pour le faire, donc je pense qu'il est temps, mais cela dépend de l'ampleur des courbes exponentielles, et je pense qu'un certain nombre d'entreprises travaillent sur ce sujet.
Vous savez, à l'heure actuelle, je pense que beaucoup de centres de données sont de l'ordre de 50 mégawatts ou 100 mégawatts ou, pour les plus grands, de 150 mégawatts. Vous prenez donc un centre de données entier et vous le remplissez avec tout ce dont vous avez besoin pour la formation, et vous construisez le plus grand cluster possible. Je pense que c'est un peu ce que font un certain nombre d'entreprises. Mais quand vous commencez à construire un centre de données de 300 mégawatts, de 500 mégawatts ou un gigawatt, personne n'a encore construit un seul centre de données d'un gigawatt, donc je pense que cela arrivera, ce n'est qu'une question de temps, mais ce ne sera pas l'année prochaine. C'est l'une des choses les plus délicates au monde à planifier : lorsque vous avez une courbe exponentielle, combien de temps dure-t-elle ?
Je pense qu'il y a suffisamment de chances que cela continue pour que cela vaille la peine d'investir des dizaines ou des centaines de milliards de dollars dans la construction de l'infrastructure. On peut supposer que si cela continue, on obtiendra des choses vraiment extraordinaires qui feront des produits extraordinaires, mais je ne pense pas que quelqu'un dans l'industrie puisse vraiment vous dire que cela va continuer à se développer à ce rythme.
En général, dans l'histoire, il y a des goulots d'étranglement à certains moments, et maintenant il y a tellement d'énergie dans ce domaine que ces goulots d'étranglement seront peut-être éliminés assez rapidement. Mais je ne pense pas que ce soit quelque chose d'aussi magique que d'obtenir un certain niveau d'IA, un certain niveau de capital puis de l'investir et que tout d'un coup les modèles vont s'adapter, je pense qu'il y aura différents goulots d'étranglement en cours de route.
Quel est votre avis sur le sujet ? Pensez-vous que le point de vue de M. Zuckerberg est crédible ou pertinent ?Voir aussi :
L'IA générative n'aura besoin que de deux centrales électriques pour maintenir ses applications en 2024, selon Sergey Edunov, cadre de Meta Le PDG d'OpenAI, Sam Altman, a déclaré qu'une percée énergétique était nécessaire pour l'intelligence artificielle (IA) de demain, qui consommera beaucoup plus d'énergie que prévu L'IA a besoin de tellement d'énergie que les vieilles centrales au charbon sont maintenues en service, alors que la demande en énergie des centres de données devrait tripler d'ici 2030 
.
espèrent...
