Un nouveau rapport de Business Insider affirme que Musk envisage de former un grand modèle de langage (LLM) au sein de Twitter afin de participer à la course à l'IA qui s'intensifie de plus en plus, mais qui ne va pas forcément dans le sens où le milliardaire souhaite. Les spéculations sont nées d'un commentaire d'une source familière avec l'affaire, donc il ne s'agit que d'une rumeur pour l'instant. L'information indique que Musk a acheté au cours de ces derniers au moins 10 000 GPU pour les utiliser dans l'un des deux centres de données restants de l'entreprise. Si l'information est vraie, cela signifie que Musk est bien décidé à développer un rival de ChatGPT.
En fait, des analystes indiquent qu'il n'y aurait pas de raison pour Twitter de dépenser autant d'argent pour des GPU de qualité centre de données s'il ne prévoyait pas de les utiliser pour un projet d'IA. À ce stade, on ne sait pas quel matériel exact a été acheté par Twitter. Toutefois, la plateforme aurait dépensé des dizaines de millions de dollars pour ces GPU de calcul malgré les problèmes financiers actuels de Twitter, que Musk décrit comme une "situation financière instable". Le milliardaire ne semble pas se soucier de ces déboires financiers et s'amuse même à faire des blagues sur le sujet alors que plusieurs plaintes visent Twitter pour des factures impayées.
I’m still confused as to how a non-profit to which I donated ~$100M somehow became a $30B market cap for-profit. If this is legal, why doesn’t everyone do it?
— Elon Musk (@elonmusk) March 15, 2023
La rumeur indique que ces GPU devraient être déployés dans l'un des deux centres de données restants de Twitter, Atlanta étant la destination la plus probable. Il est intéressant de noter que Musk a fermé le principal centre de données de Twitter à Sacramento fin décembre, ce qui a manifestement réduit les capacités de calcul de l'entreprise. En ce qui concerne les données dont Twitter aurait besoin, la plateforme dispose d'un grand nombre de données qui peuvent être utilisées pour former de tels modèles de langage. Par exemple, ces dernières années, nous avons vu OpenAI utiliser les données de Twitter pour entraîner ses propres modèles GPT.
Mais Twitter a ensuite décidé de supprimer l'accès à ces données au cours de la dernière partie de l'année 2022. Aujourd'hui, Musk et son équipe de cadres envisagent d'autres options dans le cadre desquelles ils conçoivent leur propre projet. Le but est d'utiliser d'énormes quantités de données provenant de la bibliothèque de Twitter pour former les modèles d'IA internes. En outre, OpenAI a utilisé les GPU A100 de Nvidia pour entraîner son chatbot ChatGPT et continue d'utiliser ces machines pour le faire fonctionner. Nvidia a maintenant lancé le successeur de l'A100, ses GPU de calcul H100 qui sont plusieurs fois plus rapides à peu près à la même puissance.
Selon certains experts, Twitter utilisera probablement les GPU H100 de Nvidia ou un matériel similaire pour son projet d'IA. Étant donné que l'entreprise n'a pas encore déterminé à quoi servira son projet d'IA, il est difficile d'estimer le nombre de GPU Hopper dont elle pourrait avoir besoin. Les applications possibles de l'IA générative pour Twitter pourraient inclure l'amélioration de la recherche sur la plateforme ou la création de nouvelles méthodes publicitaires. Outre l'achat de matériel GPU pour son projet d'IA générative, Musk tente aussi de recruter des ingénieurs pour l'aider à créer un modèle d'IA plus performant que ChatGPT et qui n'est pas woke.
Musk aurait contacté fin février des chercheurs en IA pour former un nouveau laboratoire d'IA afin de concurrencer le ChatGPT d'OpenAI, notamment les anciens chercheurs de DeepMind Igor Babuschkin et Manuel Kroiss. Auparavant, Musk s'était publiquement plaint de la partialité des produits d'OpenAI, affirmant qu'ils étaient trop "woke". Musk a cofondé OpenAI en 2015, mais a quitté l'entreprise après un désaccord interne en 2018. Depuis, Musk a été un critique virulent d'OpenAI et dénonce son passage d'organisation à but non lucratif à une entreprise à but lucratif plafonné. OpenAI a opéré ce changement en 2019 dans le but de réunir des capitaux.
« Je ne comprends toujours pas comment un organisme à but non lucratif auquel j'ai fait un don de 100 millions de dollars est devenu une entreprise à but lucratif dont la capitalisation boursière s'élève à 30 milliards de dollars. Si c'est légal, pourquoi tout le monde ne le fait-il pas ? », a déclaré Musk dans l'une de ses récentes missives sur Twitter à l'encontre de la filiale à but lucratif du laboratoire, OpenAI Limited Partnership. Il affirme également que Microsoft tente de mettre la main sur la startup, la firme de Redmond a injecté plusieurs milliards de dollars dans OpenAI depuis 2019, ce qui lui confère un accès exclusif aux produits d'IA du laboratoire.
En fin de compte, la vision de Musk est de rester en phase avec les dernières tendances en matière de développements et de recherches dans le secteur de l'IA. Mais il ne serait pas faux de qualifier cette initiative de controversée, d'autant plus que Musk a été l'un des premiers à soulever des inquiétudes sur les dangers de l'IA. Fin mars, il a signé une lettre ouverte largement diffusée, rédigée par le Future of Life Institute (une organisation partiellement financée par Musk), qui appelait à un moratoire de six mois sur le développement de modèles d'IA plus puissants que GPT-4, qui est actuellement le modèle d'IA le plus puissant d'OpenAI.
Les signataires de la lettre ont invoqué les risques d'un emballement de l'IA pour la civilisation humaine. Mais d'autres acteurs influents de l'industrie, dont Bill Gates et LAION, ont trouvé l'idée d'une pause "ridicule". Bien que le concept de pause se soit avéré irréalisable, certains critiques ont affirmé peu après que Musk souhaitait une "pause" pour que ses entreprises puissent rattraper OpenAI. Pour l'instant, aucune annonce n'a été faite quant à la question de savoir si le modèle d'IA de Twitter sera "plus puissant" que GPT-4, mais ces dernières mesures pourraient être perçues comme une remise en cause des appels à la prudence lancés par Musk sur le sujet.
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Elon Musk souhaite ardemment que des développeurs d'IA l'aident à créer un rival de ChatGPT plus performant et qui n'est pas "woke", il qualifie les filtres de ChatGPT de "préoccupants"
Elon Musk affirme qu'OpenAI a été créée pour être à but non lucratif, mais qu'elle réalise désormais d'énormes bénéfices sous l'égide de Microsoft
Un chercheur crée un modèle d'IA appelé RightWingGPT pour mettre en évidence les biais potentiels des systèmes d'IA, notamment la partialité de ChatGPT, son aspect woke et sa tendance gauchiste
Elon Musk aurait envisagé de prendre le contrôle total d'OpenAI afin de la diriger lui-même, puis aurait renoncé à sa participation au projet quand les fondateurs d'OpenAI ont refusé sa proposition