L'énergie, et non la puissance de calcul, sera le premier goulot d'étranglement pour les progrès de l'IA

D'après Mark Zuckerberg

Ces dernières années, je pense qu'il y a eu un problème de production de GPU. Même les entreprises qui avaient les moyens de payer pour les GPU ne pouvaient pas nécessairement en produire autant qu'elles le voulaient en raison de toutes ces contraintes d'approvisionnement. Aujourd'hui, je pense que la situation s'améliore et qu'un certain nombre d'entreprises se disent : « Nous devrions investir beaucoup d'argent dans la construction de ces systèmes », et je pense que cela va durer un certain temps. Il y a une question de capital telle que : à quel moment cela ne vaut plus la peine d'investir, mais je pense qu'avant d'en arriver là, vous allez vous heurter à des contraintes en matière d'énergie.

C'est vrai, je ne pense pas que quelqu'un ait encore construit un cluster de formation unique d'un gigawatt. Je voudrais juste mettre les choses en perspective. Je pense qu'un gigawatt, c'est à peu près la taille d'une centrale nucléaire significative uniquement pour l'entraînement d'un modèle.

Et puis il y a ces aspects qui finissent par prendre du temps, comme l'obtention d'un permis d'exploitation de l'énergie qui est une fonction gouvernementale très réglementée. Et si l'on parle de construire de nouvelles grandes centrales électriques ou de grandes extensions et de construire des lignes de transmission qui traversent d'autres terrains privés ou publics, c'est une chose qui est très réglementée. Il s'agit donc d'un délai de plusieurs années, et si nous voulions mettre en place une installation massive pour alimenter tout cela, je pense qu'il s'agirait d'un projet à très long terme.

Je pense que nous pourrions probablement construire des clusters plus grands que ce que nous pouvons faire actuellement si nous pouvions obtenir l'énergie pour le faire, donc je pense qu'il est temps, mais cela dépend de l'ampleur des courbes exponentielles, et je pense qu'un certain nombre d'entreprises travaillent sur ce sujet.

Vous savez, à l'heure actuelle, je pense que beaucoup de centres de données sont de l'ordre de 50 mégawatts ou 100 mégawatts ou, pour les plus grands, de 150 mégawatts. Vous prenez donc un centre de données entier et vous le remplissez avec tout ce dont vous avez besoin pour la formation, et vous construisez le plus grand cluster possible. Je pense que c'est un peu ce que font un certain nombre d'entreprises. Mais quand vous commencez à construire un centre de données de 300 mégawatts, de 500 mégawatts ou un gigawatt, personne n'a encore construit un seul centre de données d'un gigawatt, donc je pense que cela arrivera, ce n'est qu'une question de temps, mais ce ne sera pas l'année prochaine. C'est l'une des choses les plus délicates au monde à planifier : lorsque vous avez une courbe exponentielle, combien de temps dure-t-elle ?

Je pense qu'il y a suffisamment de chances que cela continue pour que cela vaille la peine d'investir des dizaines ou des centaines de milliards de dollars dans la construction de l'infrastructure. On peut supposer que si cela continue, on obtiendra des choses vraiment extraordinaires qui feront des produits extraordinaires, mais je ne pense pas que quelqu'un dans l'industrie puisse vraiment vous dire que cela va continuer à se développer à ce rythme.

En général, dans l'histoire, il y a des goulots d'étranglement à certains moments, et maintenant il y a tellement d'énergie dans ce domaine que ces goulots d'étranglement seront peut-être éliminés assez rapidement. Mais je ne pense pas que ce soit quelque chose d'aussi magique que d'obtenir un certain niveau d'IA, un certain niveau de capital puis de l'investir et que tout d'un coup les modèles vont s'adapter, je pense qu'il y aura différents goulots d'étranglement en cours de route.