Le journaliste Mark Stephens, plus connu sous le nom de Robert X. Cringely, estime que la loi de Moore pourrait continuer d'exister grâce à l'IA générative. Il a déclaré que l'IA générative va largement contribuer à maintenir la loi de Moore en vigueur et la façon dont cela va se produire en dit long sur le marché des puces, l'économie mondiale et l'IA elle-même. Cringely pense qu'il devrait être facile d'appliquer l'IA à la conception des puces, en construisant des modèles de conception de puces personnalisés pour itérer dans les simulateurs existants et affiner les nouvelles conceptions qui ont de bonnes chances d'être novatrices. Il pense que la Chine sera première à le faire.La loi de Moore est une loi empirique qui se rapporte à l'évolution de la puissance de calcul des ordinateurs et de la complexité du matériel informatique. Selon la loi de Moore, le nombre de transistors incorporés dans une puce de circuit intégré densément peuplée double environ tous les deux ans, se rapproche rapidement de ce qui est considéré comme des obstacles insurmontables. Autrement dit, puisque de plus en plus de transistors sont entassés dans une zone limitée, les ingénieurs manquent d'espace. L'auteur de cette loi empirique est Gordon Moore, cofondateur et emblématique dirigeant d'Intel. Il est décédé le 24 mars dernier à l'âge de 94 ans.
Depuis l'apparition de la loi de Moore, il y a maintenant 58 ans, l’évolution des circuits intégrés a suivi ses prévisions. Toutefois, la loi a désormais atteint à ses limites. Qu'arriverait-il lorsque la loi de Moore prendra fin ? Selon les experts, l’industrie des puces se retrouverait ralentie et cela aura des répercussions sur les progrès technologiques, notamment des technologies comme l’IA. Comme certains le soupçonnent, la loi a déjà pris fin et nous sommes en train de fonctionner avec les vapeurs du plus grand moteur technologique de notre temps. D'autres estiment qu'elle atteindra sa fin de vie en 2025, soit exactement 70 ans après qu'elle a été énoncée par son auteur.
Mais alors que tout le monde s'attend à la fin de la loi de Moore, Robert X. Cringely - ancien employé d'Apple et journaliste, dont les écrits sont destinés à vulgariser la technologie - a récemment déclaré que la loi de Moore ne mourra pas. Dans un billet de blogue, Cringely a déclaré que la loi de Moor continuera à exister si l'industrie des semiconducteurs met à contribution les dernières avancées majeures dans le domaine de l'IA. « Je prédis que l'IA générative va largement contribuer à maintenir la loi de Moore en vigueur et la manière dont cela va se produire en dit long sur le marché des puces, l'économie mondiale et l'IA elle-même », a écrit Cringely.
Dans son article, il estime que la loi de Moore est aussi passée d'une caractéristique technique de la lithographie à une loi économique. Il est de plus en plus difficile de graver des lignes de plus en plus fines, raison pour laquelle les fabricants de puces ont changé de culture et mettent l'accent sur la partie coût de la loi de Moore (le prix des semiconducteurs diminue de 50 % sur la base de la surface tous les 18 mois). « Nous pouvons obtenir cet effet économique grâce à diverses techniques, notamment les cœurs multiples, la conception de systèmes sur puce et la mémoire unifiée, tout ce qu'il faut pour maintenir les prix à la baisse », a-t-il écrit.
Selon Cringely, pour que l'IA générative maintienne la loi de Moore en vie, les entreprises ont plusieurs défis à relever, notamment spécialiser leurs systèmes d'IA afin de les rendre plus précis et réduire considérablement les coûts de formation des modèles. La grande majorité des modèles d'IA actuels les plus puissants sont à usage général, censés servir à tout. Mais selon Cringely, cela dégrade profondément la précision de ces modèles d'IA et fait d'eux de simples imitateurs de l'homme créés à coût de millions de dollars. Cela signifie que lorsque vous demandez à ChatGPT des conseils juridiques, par exemple, vous lui demandez d'imiter un avocat.
Cringely estime que spécialiser les modèles d'IA permettra de réduire considérablement leur taille et d'en tirer un plus grand avantage, notamment dans des domaines tels que la médecine, l'éducation et l'économie. « Il existe une opportunité pour les grands modèles de langage (LLM) verticaux formés sur des données différentes - des données réelles provenant d'industries telles que la médecine et la mécanique automobile. Celui qui possède ces données possédera ces marchés », a-t-il déclaré. Il a déclaré que la fuite du modèle LLaMA de Meta a permis à la communiste de former des modèles verticaux plus petits à bas prix qui s'avèrent parfois efficaces.
Selon Cringely, la conception des puces est très similaire à la réparation des voitures en ce sens que la quantité de données d'apprentissage automatique (ML) requise est très limitée (considérez les cellules logiques comme des mots de langage). « Il s'agit d'un vocabulaire restreint (la section de réparation automobile de la bibliothèque publique ne compte que quelques étagères de livres). Et encore mieux que la réparation automobile, l'industrie des semiconducteurs dispose d'outils de simulation bien développés pour tester la logique avant qu'elle ne soit réellement construite », explique Cringely dans son billet de blogue publié la semaine dernière.
« Ce qui rendra ces modèles à la fois meilleurs et moins chers, c'est qu'ils pourront être construits à partir d'une base LLaMA, car la plupart de ces données n'ont pas besoin de changer au fil du temps pour continuer à réparer votre voiture, et l'apprentissage automatique ajouté ne proviendra pas des conneries trouvées sur Internet, mais plutôt des manuels d'entretien réellement utilisés pour former les mécaniciens et réparer les voitures. Nous approchons du moment où les grands modèles de langage n'auront plus à imiter les mécaniciens et les infirmières parce qu'ils seront formés comme des mécaniciens et des infirmières », a-t-il ajouté.
Cringely a conclu en ces termes : « il devrait donc être assez simple d'appliquer l'IA à la conception de puces, en construisant des modèles de conception de puces personnalisés pour itérer dans les simulateurs existants et affiner de nouvelles conceptions qui ont en fait de bonnes chances d'être nouvelles ». L'idée de Cringely par certains, mais controversée par d'autres commentateurs. Selon les critiques, les modèles d'IA spécifiques à un domaine seront moins efficaces que l'approche "tout et n'importe quoi" de ChatGPT (et autres systèmes d'IA actuels), simplement parce que la quantité de données d'entraînement sera nettement inférieure.
En d'autres termes, les critiques estiment que l'efficacité d'un modèle d'IA est proportionnelle à la quantité de données sur laquelle il a été entraîné. « Tout ce que j'ai lu sur la méthodologie de ces modèles d'IA indique que les résultats ne deviennent intéressants que lorsque des quantités massives de données (et oui, de calculs) sont rassemblées. Il s'agit donc d'une sorte d'impasse : vous voulez avoir des modèles qui peuvent vous dire des choses utiles sur des domaines spécifiques (et pas seulement halluciner des faits faux), mais l'ensemble des données que vous pouvez rassembler n'est pas assez grand pour rendre cela facile », a écrit un critique.
Il est important de souligner que Cringely n'est pas le premier à avoir évoqué l'utilisation de l'IA pour améliorer la conception de puces et faire face à la fin de la loi de Moore. Depuis quelques années, les fabricants de puces se tournent vers d'autres approches de la conception des puces, en intégrant l'IA dans le processus. Samsung, par exemple, ajoute l'IA à ses puces mémoire pour permettre le traitement en mémoire, ce qui permet d'économiser de l'énergie et d'accélérer l'apprentissage automatique. En ce qui concerne la vitesse, la puce TPU V4 AI de Google a doublé sa puissance de traitement par rapport à la version précédente.
Cringely a déclaré que la Chine sera la première à se lancer dans cette aventure, car les États-Unis font tout leur possible pour l'exclure du développement des puces, en lui refusant l'accès aux outils de fabrication avancés, par exemple. Selon lui, même s'il ne sert qu'à alléger et à améliorer les conceptions existantes, il s'agit d'une nouvelle génération de puces que la Chine n'aurait peut-être pas eue autrement.
« La Chine est sans doute le deuxième pays au monde pour la recherche sur l'IA et peut utiliser cet avantage pour combler une partie de la différence. Il faut s'attendre à ce que des startups de puces d'IA sans usine se développent autour des universités chinoises et à ce que le Parti communiste chinois investisse beaucoup d'argent dans ce travail très rentable », a déclaré Cringely.
Source : Billet de blogue
Et vous ?
Quel est votre avis sur le sujet ? L'IA pourrait-elle permettre à la loi de Moore de rester en vigueur ? Que pensez-vous des idées émises par Robert X. Cringely ? Sont-elles réalistes ? Pensez-vous que des modèles d'IA plus petits seront plus précis que les LLM ? Pourquoi ?Voir aussi
Sommes-nous préparés à la fin de la loi de Moore ? Elle a alimenté la prospérité des 50 dernières années, mais la fin est maintenant en vue L'avis d'Intel sur la prochaine évolution de la loi de Moore, dans un contexte ou le nombre de transistors que l'on peut entasser sur une seule puce a presque atteint sa limite Gordon Moore, cofondateur d'Intel et créateur de la "loi de Moore", est décédé à l'âge de 94 ans