GPT-5, le prochain grand projet d'OpenAI dans le domaine de l'IA, est en retard sur le calendrier et est très coûteux.

L'entreprise manque de sources de données fiables et fait face à des défis techniques

OpenAI ferait face à des problèmes de mise à l'échelle et des coûts exorbitants dans le cadre du développement de GPT-5. Le prochain grand modèle d'OpenAI est en retard sur le calendrier et les chercheurs ignorent encore quand - ni si - il fonctionnera. Il est possible qu'il n'y ait pas assez de données dans le monde pour le rendre suffisamment intelligent. GPT-5 serait au mieux plus performant que les systèmes actuels d'OpenAI, mais il n'a pas suffisamment progressé pour justifier le coût énorme de son fonctionnement. L'IA générative semble atteindre un palier, avec des défis en matière de fiabilité et d'innovation qui freinent son développement continu.

GPT-5 : les ambitions initiales d'OpenAI se transforment en désillusions

« GPT-5 sera plus intelligent, plus rapide, plus polyvalent et meilleur dans toutes les tâches que GPT-4 », a déclaré le PDG d'OpenAI, Sam Altman, lors du Sommet mondial des gouvernements (WGS) à Dubaï en février dernier. Microsoft, le partenaire le plus proche d'OpenAI et son principal bailleur de fonds, s'attendait à voir le nouveau modèle vers le milieu de l'année 2024. Mais des sources proches de l'entreprise ont rapporté que rien ne se passe comme prévu.


GPT-5 est connu sous le nom de code interne « Orion ». Le projet est en cours depuis plus de 18 mois, mais les problèmes se multiplient et les chercheurs d'OpenAI n'entrevoient pas le bout du tunnel. Selon les sources proches du projet, OpenAI aurait effectué au moins deux grands entraînements dans le but de rendre Orion plus intelligent. Chaque fois, de nouveaux problèmes sont apparus et le logiciel n'a pas donné les résultats escomptés par les chercheurs.

Selon les sources, chacun des deux entraînements a nécessité des mois de traitement d'énormes quantités de données. Au mieux, Orion est plus performant que les offres actuelles d'OpenAI, mais le modèle n'a pas suffisamment progressé pour justifier les dépenses énormes qu'il occasionne. Une formation de six mois peut coûter environ un demi-milliard de dollars rien qu'en coûts informatiques. Selon les sources, les coûts ont atteint des niveaux importants.

Selon Sam Altman, la formation de GPT-4 a coûté plus de 100 millions de dollars. Les futurs modèles d'IA devraient dépasser le milliard de dollars. L'échec d'une formation est comparable à l'explosion d'une fusée spatiale peu de temps après son lancement. Selon les sources, les chercheurs d'OpenAI tentent de minimiser les risques d'échec en menant leurs expériences à plus petite échelle, c'est-à-dire en procédant à un essai avant de passer à l'action.

Il n'y a pas de critères établis pour déterminer quand un modèle est devenu suffisamment intelligent pour être désigné GPT-5. OpenAI peut tester ses modèles dans des domaines tels que les mathématiques et le codage. Il appartient aux dirigeants de l'entreprise de décider si le modèle est suffisamment intelligent pour être désigné GPT-5, en se fondant en grande partie sur leur intuition ou, comme le disent de nombreux technologues, sur les « vibrations ».

Le développement de GPT-5 pose de nombreux défis techniques à OpenAI

L'un des principaux problèmes techniques est la qualité des données. En règle générale, les modèles deviennent plus performants au fur et à mesure qu'ils ingurgitent des données. Les données utilisées par OpenAI et ses concurrents proviennent principalement de livres, de publications universitaires et d'autres sources réputées. Ce matériel aide les grands modèles de langage (LLM) à mieux communiquer avec l'utilisateur et à gérer un large éventail de tâches.

Pour ses modèles précédents, OpenAI a utilisé de vastes quantités de données extraites d'Internet : articles de presse, messages sur les médias sociaux et articles scientifiques. Afin de rendre Orion plus intelligent, OpenAI doit l'agrandir. Cela signifie qu'il a besoin d'encore plus de données, mais il n'y en a pas assez. OpenAI a constaté que les données en question ne sont pas aussi diversifiées qu'il le pensait, ce qui a limité la capacité d'apprentissage d'Orion.

« Cela devient très coûteux et il devient difficile de trouver des données de qualité », a déclaré Ari Morcos, PDG de DatologyAI, une startup qui crée des outils pour améliorer la sélection des données. DatologyAI construit des modèles avec moins de données, mais de bien meilleure qualité, une approche qui, selon lui, rendra les systèmes d'IA d'aujourd'hui plus performants que la stratégie adoptée par toutes les grandes entreprises d'IA telles qu'OpenAI.

Pour résoudre ce problème, OpenAI a choisi de créer des données à partir de zéro. Il recrute des personnes pour écrire de nouveaux codes logiciels ou résoudre des problèmes mathématiques afin qu'Orion puisse en tirer des enseignements. « Nous transférons l'intelligence humaine de l'esprit humain à l'esprit de la machine »,...