OpenAI ferait face à des problèmes de mise à l'échelle et des coûts exorbitants dans le cadre du développement de GPT-5. Le prochain grand modèle d'OpenAI est en retard sur le calendrier et les chercheurs ignorent encore quand - ni si - il fonctionnera. Il est possible qu'il n'y ait pas assez de données dans le monde pour le rendre suffisamment intelligent. GPT-5 serait au mieux plus performant que les systèmes actuels d'OpenAI, mais il n'a pas suffisamment progressé pour justifier le coût énorme de son fonctionnement. L'IA générative semble atteindre un palier, avec des défis en matière de fiabilité et d'innovation qui freinent son développement continu.GPT-5 : les ambitions initiales d'OpenAI se transforment en désillusions
« GPT-5 sera plus intelligent, plus rapide, plus polyvalent et meilleur dans toutes les tâches que GPT-4 », a déclaré le PDG d'OpenAI, Sam Altman, lors du Sommet mondial des gouvernements (WGS) à Dubaï en février dernier. Microsoft, le partenaire le plus proche d'OpenAI et son principal bailleur de fonds, s'attendait à voir le nouveau modèle vers le milieu de l'année 2024. Mais des sources proches de l'entreprise ont rapporté que rien ne se passe comme prévu.
GPT-5 est connu sous le nom de code interne « Orion ». Le projet est en cours depuis plus de 18 mois, mais les problèmes se multiplient et les chercheurs d'OpenAI n'entrevoient pas le bout du tunnel. Selon les sources proches du projet, OpenAI aurait effectué au moins deux grands entraînements dans le but de rendre Orion plus intelligent. Chaque fois, de nouveaux problèmes sont apparus et le logiciel n'a pas donné les résultats escomptés par les chercheurs.
Selon les sources, chacun des deux entraînements a nécessité des mois de traitement d'énormes quantités de données. Au mieux, Orion est plus performant que les offres actuelles d'OpenAI, mais le modèle n'a pas suffisamment progressé pour justifier les dépenses énormes qu'il occasionne. Une formation de six mois peut coûter environ un demi-milliard de dollars rien qu'en coûts informatiques. Selon les sources, les coûts ont atteint des niveaux importants.
Selon Sam Altman, la formation de GPT-4 a coûté plus de 100 millions de dollars. Les futurs modèles d'IA devraient dépasser le milliard de dollars. L'échec d'une formation est comparable à l'explosion d'une fusée spatiale peu de temps après son lancement. Selon les sources, les chercheurs d'OpenAI tentent de minimiser les risques d'échec en menant leurs expériences à plus petite échelle, c'est-à-dire en procédant à un essai avant de passer à l'action.
Il n'y a pas de critères établis pour déterminer quand un modèle est devenu suffisamment intelligent pour être désigné GPT-5. OpenAI peut tester ses modèles dans des domaines tels que les mathématiques et le codage. Il appartient aux dirigeants de l'entreprise de décider si le modèle est suffisamment intelligent pour être désigné GPT-5, en se fondant en grande partie sur leur intuition ou, comme le disent de nombreux technologues, sur les « vibrations ».
Le développement de GPT-5 pose de nombreux défis techniques à OpenAI
L'un des principaux problèmes techniques est la qualité des données. En règle générale, les modèles deviennent plus performants au fur et à mesure qu'ils ingurgitent des données. Les données utilisées par OpenAI et ses concurrents proviennent principalement de livres, de publications universitaires et d'autres sources réputées. Ce matériel aide les grands modèles de langage (LLM) à mieux communiquer avec l'utilisateur et à gérer un large éventail de tâches.
Pour ses modèles précédents, OpenAI a utilisé de vastes quantités de données extraites d'Internet : articles de presse, messages sur les médias sociaux et articles scientifiques. Afin de rendre Orion plus intelligent, OpenAI doit l'agrandir. Cela signifie qu'il a besoin d'encore plus de données, mais il n'y en a pas assez. OpenAI a constaté que les données en question ne sont pas aussi diversifiées qu'il le pensait, ce qui a limité la capacité d'apprentissage d'Orion.
« Cela devient très coûteux et il devient difficile de trouver des données de qualité », a déclaré Ari Morcos, PDG de DatologyAI, une startup qui crée des outils pour améliorer la sélection des données. DatologyAI construit des modèles avec moins de données, mais de bien meilleure qualité, une approche qui, selon lui, rendra les systèmes d'IA d'aujourd'hui plus performants que la stratégie adoptée par toutes les grandes entreprises d'IA telles qu'OpenAI.
Pour résoudre ce problème, OpenAI a choisi de créer des données à partir de zéro. Il recrute des personnes pour écrire de nouveaux codes logiciels ou résoudre des problèmes mathématiques afin qu'Orion puisse en tirer des enseignements. « Nous transférons l'intelligence humaine de l'esprit humain à l'esprit de la machine », affirme Jonathan Siddharth, PDG et cofondateur de Turing, une société d'infrastructure d'IA qui travaille avec OpenAI, Meta et d'autres.
Selon les dirigeants de Turing, dans le cadre d'une formation à l'IA, un ingénieur logiciel peut être invité à écrire un programme qui résout efficacement un problème de logique complexe. Un mathématicien pourrait avoir à calculer la hauteur maximale d'une pyramide construite à partir d'un million de ballons de basket. Les réponses - et, plus important encore, la manière de les obtenir - sont ensuite intégrées dans le matériel de formation du modèle d'IA.
OpenAI s'appuie sur des données synthétiques en dépit des risques
OpenAI a également commencé à développer ce que l'on appelle des données synthétiques, c'est-à-dire des données créées par l'IA, afin de contribuer à l'entraînement d'Orion. Mais la boucle de rétroaction de l'IA créant des données pour l'IA peut souvent entraîner des dysfonctionnements ou des réponses absurdes. Les scientifiques d'OpenAI pensent pouvoir éviter ces problèmes en utilisant les données générées par un autre de ses modèles d'IA, appelé o1.
Les difficultés d'OpenAI ont été exacerbées par des troubles internes et des tentatives quasi constantes de ses rivaux de débaucher ses meilleurs chercheurs, parfois en leur offrant des millions de dollars. De nombreux cadres de haut niveau ont quitté OpenAI ces derniers mois, notamment Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, et Mira Murati, responsable de la technologie. Ce qui a affecté la capacité de la startup à innover rapidement.
Au total, plus d'une vingtaine de cadres, de chercheurs et d'employés de longue date ont quitté OpenAI cette année. Ces départs sont intervenus après le licenciement brusque de Sam Altman par l'ancien conseil d'administration d'OpenAI. Après cela, de nombreux observateurs se sont interrogés sur la pérennité de l'entreprise. Sam Altman a été rapidement rétabli dans ses fonctions de PDG et a entrepris de remanier la structure de gouvernance d'OpenAI.
Récemment, Alec Radford, un chercheur très admiré qui a été l'auteur principal de plusieurs articles scientifiques d'OpenAI, a annoncé son départ après environ huit ans au sein de l'entreprise. Si OpenAI ralentit, il y a beaucoup de concurrents qui attendent impatiemment leur chance de prendre sa place dans le monde de l'IA et d'investir les capitaux nécessaires pour rivaliser. Parmi ses principaux concurrents figure Anthropic, créateur du modèle Claude.
Des chercheurs pensent que les progrès de l'IA se heurtent à un mur
Les problèmes rencontrés par OpenAI lors du développement de son modèle Orion ont montré à certains membres de l'entreprise que la stratégie « plus c'est gros, mieux c'est », qui avait été à l'origine de la plupart de ses succès antérieurs, est en train de s'essouffler. Les progrès rapides constatés après l'avènement de ChatGPT en 2022 ont considérablement ralenti. OpenAI n'est pas la seule entreprise à s'inquiéter du fait que les progrès se heurtent à un mur.
Dans l'ensemble du secteur, le débat fait rage sur la question de savoir si l'amélioration des IA commence à plafonner. Ilya Sutskever a déclaré lors d'une récente conférence sur l'IA que l'ère des données massives est révolue. « Les données n'augmentent pas parce que nous n'avons qu'un seul Internet. On peut même aller jusqu'à dire que les données sont le carburant fossile de l'IA », a déclaré Ilya Sutskever devant un parterre d'experts et de scientifiques.
Au début de l'année 2024, OpenAI commençait à ressentir la pression. GPT-4 avait déjà un an et les rivaux commençaient à rattraper leur retard. Un modèle d'Anthropic a été jugé meilleur que GPT-4 par de nombreux acteurs du secteur. Quelques mois plus tard, Google a lancé la nouvelle application d'IA la plus virale de l'année, appelée NotebookLM. Alors qu'Orion était au point mort, OpenAI a commencé à développer d'autres projets et applications.
Il s'agit notamment de versions allégées de GPT-4 et de Sora, un produit capable de produire des vidéos à partir d'invites textuelles. Selon des personnes au fait du dossier, cela a conduit à une lutte pour des ressources informatiques limitées entre les équipes travaillant sur les nouveaux produits et les chercheurs d'Orion.
L'échec cuisant des modèles d'IA générative axés sur le raisonnement
Les difficultés rencontrées sur Orion ont conduit les chercheurs de l'OpenAI à adopter une nouvelle approche pour rendre les modèles plus intelligents : le raisonnement. Selon les chercheurs, le fait de passer beaucoup de temps à « réfléchir » pourrait permettre aux modèles de résoudre des problèmes difficiles pour lesquels ils n'ont pas été formés. En coulisses, o1 d'OpenAI propose plusieurs réponses à chaque question et les analyse pour trouver la meilleure.
Il peut effectuer des tâches plus complexes, comme la rédaction d'un plan d'affaires ou la création d'une grille de mots croisés, tout en expliquant son raisonnement, ce qui permet au modèle d'apprendre un peu de chaque réponse. Cependant, des chercheurs d'Apple ont récemment publié un article dans lequel ils affirment que les modèles axés sur le raisonnement, y compris les versions d'o1, sont loin d'être d'avoir atteint les performances promises.
Les chercheurs d'Apple ont déclaré avoir constaté une « chute catastrophique des performances » lorsque les questions étaient modifiées pour inclure des détails non pertinents, par exemple en modifiant un problème de mathématiques sur les kiwis pour indiquer que certains fruits étaient plus petits que d'autres.
En septembre 2024, OpenAI a lancé un aperçu de son modèle de raisonnement o1 et a publié la version complète de o1 au début de ce mois. Mais toute cette matière grise supplémentaire coûte cher. OpenAI paie désormais pour générer plusieurs réponses à une même requête, au lieu d'une seule.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des défis rencontrés par OpenAI dans le cadre du développement de GPT-5 ? Les progrès de l'IA générative semblent se heurter à un mur. Qu'en pensez-vous ? Les lois actuelles de mise à l'échelle peuvent-elles encore permettre à l'industrie de développer des modèles d'IA plus performants ?Voir aussi
Le directeur technique de Microsoft affirme que les lois de mise à l'échelle des LLM continueront à stimuler les progrès de l'IA, réfutant les déclarations selon lesquelles les LLM ont atteint un plateau « GPT-5 sera plus intelligent, plus rapide, plus polyvalent et meilleur dans toutes les tâches que GPT-4 », affirme Sam Altman qui appelle une nouvelle fois à une réglementation mondiale sur l'IA Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites, la mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui 
