Le développement de modèles de langage semble avoir atteint un plafond : le prochain modèle Orion d'OpenAI dépasse à peine GPT-4, son prédécesseur.

Un ralentissement qui affecte l'ensemble du secteur de l'IA

L’industrie de l’intelligence artificielle (IA) et des modèles de langage, qui a connu un développement fulgurant au cours de la dernière décennie, semble aujourd'hui marquer le pas. Alors que la promesse de chaque nouveau modèle d'IA était d’amener des avancées significatives, la sortie imminente du modèle Orion d'OpenAI soulève des interrogations. Selon les premières évaluations, Orion n’offre qu’une légère amélioration par rapport à GPT-4, son prédécesseur. Ce constat, qui s’ajoute à d’autres indicateurs de ralentissement dans le secteur, pousse à s’interroger : l’industrie des modèles de langage est-elle arrivée à une forme de plafond technologique ?

La saturation des performances

Les modèles de langage, comme GPT-4, ont longtemps montré des capacités impressionnantes en matière de traitement du langage naturel, de génération de texte et d'assistance automatisée. À chaque nouveau modèle, la promesse d’une IA plus puissante, plus performante et plus « humaine » créait des attentes toujours plus grandes.

Cependant, The Information rapporte que le prochain modèle de langage majeur d'OpenAI, connu sous le nom de code « Orion », offre des gains de performance beaucoup moins importants que prévu. L'amélioration de la qualité entre GPT-4 et Orion est nettement moins importante que celle observée entre GPT-3 et GPT-4. De plus, Orion ne surpasse pas systématiquement son prédécesseur dans des domaines tels que la programmation, ne montrant des améliorations que dans les capacités linguistiques, selon les sources de The Information. Le modèle pourrait également coûter plus cher à exploiter dans les centres de données que les versions précédentes.

L'annonce d'Orion d'OpenAI, dont les performances ne surpasseraient que de peu celles de GPT-4, met en lumière un phénomène de saturation. De nombreux experts en IA soulignent que, malgré des architectures toujours plus sophistiquées et des modèles de plus en plus volumineux, les gains de performance observés se réduisent progressivement. La loi des rendements décroissants semble s’appliquer ici, avec une augmentation significative des ressources nécessaires pour des progrès toujours plus modestes.


L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente

L’une des raisons de cette stagnation réside dans les limites inhérentes aux modèles actuels. L’architecture de type « transformer », dominante aujourd’hui, est extrêmement puissante mais aussi gourmande en ressources et sujette à des faiblesses de compréhension contextuelle et de gestion des informations factuelles. De plus, les IA actuelles peinent encore à généraliser certains concepts et à offrir des réponses qui soient à la fois nuancées, contextuellement appropriées et alignées sur une éthique bien définie. L’effort nécessaire pour dépasser ces limites semble croître de manière exponentielle à chaque nouvelle génération, rendant chaque avancée plus difficile à atteindre.

Par ailleurs, une étude explorant les défis et les possibilités en matière de mise à l'échelle des systèmes d'apprentissage automatique, a conclu que les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032.

D'un autre côté, les chercheurs d'OpenAI expliquent ce ralentissement par l'insuffisance de données d'entraînement de haute qualité. La plupart des textes et des données accessibles au public ont déjà été utilisés. En réponse, OpenAI a créé une « Foundations Team » dirigée par Nick Ryder.

Cette initiative s'inscrit dans le droit fil de la déclaration faite en juin par le PDG Sam Altman, selon laquelle, bien que les données existent en quantité suffisante, l'accent sera mis sur l'apprentissage à partir d'une quantité moindre de données. L'entreprise prévoit d'utiliser des données synthétiques - du matériel d'entraînement généré par des modèles d'IA - pour combler cette lacune.

The Information note qu'Orion s'est déjà partiellement entraîné sur des données synthétiques provenant de GPT-4 et du nouveau modèle de « raisonnement » o1 d'OpenAI. Toutefois, cette approche présente le risque que le nouveau modèle « ressemble simplement à ces anciens modèles dans certains aspects », selon un employé d'OpenAI.

L’effet sur l’industrie de l’IA

Ce ralentissement n’affecte pas seulement OpenAI, mais l’ensemble de l’industrie de l’IA.

Selon des sources de certains médias, le futur Gemini 2.0 de Google n'atteint pas ses objectifs internes. Anthropic aurait arrêté le développement de la version 3.5 de son produit phare, Opus, et publié à la place une version améliorée de Sonnet, peut-être pour ne pas décevoir les utilisateurs et les investisseurs.

Le rapport sur l'état de l'IA révèle que l'avance d'OpenAI sur les autres entreprises d'IA a largement disparu. Claude 3.5 "Sonnet" d'Anthropic, Gemini 1.5 de Google, Grok 2 de X et même le modèle open-source Llama 3.1 405 B de Meta ont égalé, ou dépassé de justesse sur certains benchmarks, GPT-4o d'OpenAI.

Le fait que les modèles à code source ouvert aient rattrapé les modèles propriétaires à un milliard de dollars au cours des 18 derniers mois témoigne également de ce plafonnement à l'échelle du secteur. Ces progrès seraient peu probables si les grandes entreprises technologiques pouvaient convertir efficacement leurs investissements massifs en une meilleure performance de l'IA...