GPT-5, le prochain grand projet d'OpenAI dans le domaine de l'IA, est en retard sur le calendrier et est très coûteux.

L'entreprise manque de sources de données fiables et fait face à des défis techniques

OpenAI ferait face à des problèmes de mise à l'échelle et des coûts exorbitants dans le cadre du développement de GPT-5. Le prochain grand modèle d'OpenAI est en retard sur le calendrier et les chercheurs ignorent encore quand - ni si - il fonctionnera. Il est possible qu'il n'y ait pas assez de données dans le monde pour le rendre suffisamment intelligent. GPT-5 serait au mieux plus performant que les systèmes actuels d'OpenAI, mais il n'a pas suffisamment progressé pour justifier le coût énorme de son fonctionnement. L'IA générative semble atteindre un palier, avec des défis en matière de fiabilité et d'innovation qui freinent son développement continu.

GPT-5 : les ambitions initiales d'OpenAI se transforment en désillusions

« GPT-5 sera plus intelligent, plus rapide, plus polyvalent et meilleur dans toutes les tâches que GPT-4 », a déclaré le PDG d'OpenAI, Sam Altman, lors du Sommet mondial des gouvernements (WGS) à Dubaï en février dernier. Microsoft, le partenaire le plus proche d'OpenAI et son principal bailleur de fonds, s'attendait à voir le nouveau modèle vers le milieu de l'année 2024. Mais des sources proches de l'entreprise ont rapporté que rien ne se passe comme prévu.


GPT-5 est connu sous le nom de code interne « Orion ». Le projet est en cours depuis plus de 18 mois, mais les problèmes se multiplient et les chercheurs d'OpenAI n'entrevoient pas le bout du tunnel. Selon les sources proches du projet, OpenAI aurait effectué au moins deux grands entraînements dans le but de rendre Orion plus intelligent. Chaque fois, de nouveaux problèmes sont apparus et le logiciel n'a pas donné les résultats escomptés par les chercheurs.

Selon les sources, chacun des deux entraînements a nécessité des mois de traitement d'énormes quantités de données. Au mieux, Orion est plus performant que les offres actuelles d'OpenAI, mais le modèle n'a pas suffisamment progressé pour justifier les dépenses énormes qu'il occasionne. Une formation de six mois peut coûter environ un demi-milliard de dollars rien qu'en coûts informatiques. Selon les sources, les coûts ont atteint des niveaux importants.

Selon Sam Altman, la formation de GPT-4 a coûté plus de 100 millions de dollars. Les futurs modèles d'IA devraient dépasser le milliard de dollars. L'échec d'une formation est comparable à l'explosion d'une fusée spatiale peu de temps après son lancement. Selon les sources, les chercheurs d'OpenAI tentent de minimiser les risques d'échec en menant leurs expériences à plus petite échelle, c'est-à-dire en procédant à un essai avant de passer à l'action.

Il n'y a pas de critères établis pour déterminer quand un modèle est devenu suffisamment intelligent pour être désigné GPT-5. OpenAI peut tester ses modèles dans des domaines tels que les mathématiques et le codage. Il appartient aux dirigeants de l'entreprise de décider si le modèle est suffisamment intelligent pour être désigné GPT-5, en se fondant en grande partie sur leur intuition ou, comme le disent de nombreux technologues, sur les « vibrations ».

Le développement de GPT-5 pose de nombreux défis techniques à OpenAI

L'un des principaux problèmes techniques est la qualité des données. En règle générale, les modèles deviennent plus performants au fur et à mesure qu'ils ingurgitent des données. Les données utilisées par OpenAI et ses concurrents proviennent principalement de livres, de publications universitaires et d'autres sources réputées. Ce matériel aide les grands modèles de langage (LLM) à mieux communiquer avec l'utilisateur et à gérer un large éventail de tâches.

Pour ses modèles précédents, OpenAI a utilisé de vastes quantités de données extraites d'Internet : articles de presse, messages sur les médias sociaux et articles scientifiques. Afin de rendre Orion plus intelligent, OpenAI doit l'agrandir. Cela signifie qu'il a besoin d'encore plus de données, mais il n'y en a pas assez. OpenAI a constaté que les données en question ne sont pas aussi diversifiées qu'il le pensait, ce qui a limité la capacité d'apprentissage d'Orion.

« Cela devient très coûteux et il devient difficile de trouver des données de qualité », a déclaré Ari Morcos, PDG de DatologyAI, une startup qui crée des outils pour améliorer la sélection des données. DatologyAI construit des modèles avec moins de données, mais de bien meilleure qualité, une approche qui, selon lui, rendra les systèmes d'IA d'aujourd'hui plus performants que la stratégie adoptée par toutes les grandes entreprises d'IA telles qu'OpenAI.

Pour résoudre ce problème, OpenAI a choisi de créer des données à partir de zéro. Il recrute des personnes pour écrire de nouveaux codes logiciels ou résoudre des problèmes mathématiques afin qu'Orion puisse en tirer des enseignements. « Nous transférons l'intelligence humaine de l'esprit humain à l'esprit de la machine », affirme Jonathan Siddharth, PDG et cofondateur de Turing, une société d'infrastructure d'IA qui travaille avec OpenAI, Meta et d'autres.

Selon les dirigeants de Turing, dans le cadre d'une formation à l'IA, un ingénieur logiciel peut être invité à écrire un programme qui résout efficacement un problème de logique complexe. Un mathématicien pourrait avoir à calculer la hauteur maximale d'une pyramide construite à partir d'un million de ballons de basket. Les réponses - et, plus important encore, la manière de les obtenir - sont ensuite intégrées dans le matériel de formation du modèle d'IA.

OpenAI s'appuie sur des données synthétiques en dépit des risques

OpenAI a également commencé à développer ce que l'on appelle des données synthétiques, c'est-à-dire des données créées par l'IA, afin de contribuer à l'entraînement d'Orion. Mais la boucle de rétroaction de l'IA créant des données pour l'IA peut souvent entraîner des dysfonctionnements ou des réponses absurdes. Les scientifiques d'OpenAI pensent pouvoir éviter ces problèmes en utilisant les données générées par un autre de ses modèles d'IA, appelé o1.

Les difficultés d'OpenAI ont été exacerbées par des troubles internes et des tentatives quasi constantes de ses rivaux de débaucher ses meilleurs chercheurs, parfois en leur offrant des millions de dollars. De nombreux cadres de haut niveau ont quitté OpenAI ces derniers mois, notamment Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, et Mira Murati, responsable de la technologie. Ce qui a affecté la capacité de la startup à innover rapidement.

Au total, plus d'une vingtaine de cadres, de chercheurs et d'employés de longue date ont quitté OpenAI cette année. Ces départs sont intervenus après le licenciement brusque de Sam Altman par l'ancien conseil d'administration d'OpenAI. Après cela, de nombreux observateurs se sont interrogés sur la pérennité de l'entreprise. Sam Altman a été rapidement rétabli dans ses fonctions de PDG et a entrepris de remanier la structure de gouvernance d'OpenAI.

Récemment, Alec Radford, un chercheur très admiré qui a été l'auteur principal de plusieurs articles scientifiques d'OpenAI, a annoncé son départ après environ huit ans au sein de l'entreprise. Si OpenAI ralentit, il y a beaucoup de concurrents qui attendent impatiemment leur chance de prendre sa place dans le monde de l'IA et d'investir les capitaux nécessaires pour rivaliser. Parmi ses principaux concurrents figure Anthropic, créateur du modèle Claude.

Des chercheurs pensent que les progrès de l'IA se heurtent à un mur

Les problèmes rencontrés par OpenAI lors du développement de son modèle Orion ont montré à certains membres de l'entreprise que la stratégie « plus c'est gros, mieux c'est », qui avait été à l'origine de la plupart de ses succès antérieurs, est en train de s'essouffler. Les progrès rapides constatés après l'avènement de ChatGPT en 2022 ont considérablement ralenti. OpenAI n'est pas la seule entreprise à s'inquiéter du fait que les progrès se heurtent à un mur.

Dans l'ensemble du secteur, le débat fait rage sur la question de savoir si l'amélioration des IA commence à plafonner. Ilya Sutskever a déclaré lors d'une récente conférence sur l'IA que l'ère des données massives est révolue. « Les données n'augmentent pas parce que nous n'avons qu'un seul Internet. On peut même aller jusqu'à dire que les données sont le...