IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le développement de modèles de langage semble avoir atteint un plafond : le prochain modèle Orion d'OpenAI dépasse à peine GPT-4, son prédécesseur.
Un ralentissement qui affecte l'ensemble du secteur de l'IA

Le , par Stéphane le calme

2PARTAGES

8  0 
L’industrie de l’intelligence artificielle (IA) et des modèles de langage, qui a connu un développement fulgurant au cours de la dernière décennie, semble aujourd'hui marquer le pas. Alors que la promesse de chaque nouveau modèle d'IA était d’amener des avancées significatives, la sortie imminente du modèle Orion d'OpenAI soulève des interrogations. Selon les premières évaluations, Orion n’offre qu’une légère amélioration par rapport à GPT-4, son prédécesseur. Ce constat, qui s’ajoute à d’autres indicateurs de ralentissement dans le secteur, pousse à s’interroger : l’industrie des modèles de langage est-elle arrivée à une forme de plafond technologique ?

La saturation des performances

Les modèles de langage, comme GPT-4, ont longtemps montré des capacités impressionnantes en matière de traitement du langage naturel, de génération de texte et d'assistance automatisée. À chaque nouveau modèle, la promesse d’une IA plus puissante, plus performante et plus « humaine » créait des attentes toujours plus grandes.

Cependant, The Information rapporte que le prochain modèle de langage majeur d'OpenAI, connu sous le nom de code « Orion », offre des gains de performance beaucoup moins importants que prévu. L'amélioration de la qualité entre GPT-4 et Orion est nettement moins importante que celle observée entre GPT-3 et GPT-4. De plus, Orion ne surpasse pas systématiquement son prédécesseur dans des domaines tels que la programmation, ne montrant des améliorations que dans les capacités linguistiques, selon les sources de The Information. Le modèle pourrait également coûter plus cher à exploiter dans les centres de données que les versions précédentes.

L'annonce d'Orion d'OpenAI, dont les performances ne surpasseraient que de peu celles de GPT-4, met en lumière un phénomène de saturation. De nombreux experts en IA soulignent que, malgré des architectures toujours plus sophistiquées et des modèles de plus en plus volumineux, les gains de performance observés se réduisent progressivement. La loi des rendements décroissants semble s’appliquer ici, avec une augmentation significative des ressources nécessaires pour des progrès toujours plus modestes.


L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente

L’une des raisons de cette stagnation réside dans les limites inhérentes aux modèles actuels. L’architecture de type « transformer », dominante aujourd’hui, est extrêmement puissante mais aussi gourmande en ressources et sujette à des faiblesses de compréhension contextuelle et de gestion des informations factuelles. De plus, les IA actuelles peinent encore à généraliser certains concepts et à offrir des réponses qui soient à la fois nuancées, contextuellement appropriées et alignées sur une éthique bien définie. L’effort nécessaire pour dépasser ces limites semble croître de manière exponentielle à chaque nouvelle génération, rendant chaque avancée plus difficile à atteindre.

Par ailleurs, une étude explorant les défis et les possibilités en matière de mise à l'échelle des systèmes d'apprentissage automatique, a conclu que les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032.

D'un autre côté, les chercheurs d'OpenAI expliquent ce ralentissement par l'insuffisance de données d'entraînement de haute qualité. La plupart des textes et des données accessibles au public ont déjà été utilisés. En réponse, OpenAI a créé une « Foundations Team » dirigée par Nick Ryder.

Cette initiative s'inscrit dans le droit fil de la déclaration faite en juin par le PDG Sam Altman, selon laquelle, bien que les données existent en quantité suffisante, l'accent sera mis sur l'apprentissage à partir d'une quantité moindre de données. L'entreprise prévoit d'utiliser des données synthétiques - du matériel d'entraînement généré par des modèles d'IA - pour combler cette lacune.

The Information note qu'Orion s'est déjà partiellement entraîné sur des données synthétiques provenant de GPT-4 et du nouveau modèle de « raisonnement » o1 d'OpenAI. Toutefois, cette approche présente le risque que le nouveau modèle « ressemble simplement à ces anciens modèles dans certains aspects », selon un employé d'OpenAI.

L’effet sur l’industrie de l’IA

Ce ralentissement n’affecte pas seulement OpenAI, mais l’ensemble de l’industrie de l’IA.

Selon des sources de certains médias, le futur Gemini 2.0 de Google n'atteint pas ses objectifs internes. Anthropic aurait arrêté le développement de la version 3.5 de son produit phare, Opus, et publié à la place une version améliorée de Sonnet, peut-être pour ne pas décevoir les utilisateurs et les investisseurs.

Le rapport sur l'état de l'IA révèle que l'avance d'OpenAI sur les autres entreprises d'IA a largement disparu. Claude 3.5 "Sonnet" d'Anthropic, Gemini 1.5 de Google, Grok 2 de X et même le modèle open-source Llama 3.1 405 B de Meta ont égalé, ou dépassé de justesse sur certains benchmarks, GPT-4o d'OpenAI.

Le fait que les modèles à code source ouvert aient rattrapé les modèles propriétaires à un milliard de dollars au cours des 18 derniers mois témoigne également de ce plafonnement à l'échelle du secteur. Ces progrès seraient peu probables si les grandes entreprises technologiques pouvaient convertir efficacement leurs investissements massifs en une meilleure performance de l'IA.

De son côté, Ed Zitron, critique fréquent de l'IA, a estimé qu'OpenAI est une mauvaise entreprise, notant qu'il y a « quelques raisons de s'inquiéter ». Selon lui, OpenAI n'a rien eu de vraiment important depuis le lancement de GPT-3.5, et son récent modèle o-1 n'a pas été particulièrement impressionnant. Il serait également beaucoup plus coûteux à utiliser, et OpenAI n'arrive même pas à trouver un cas d'utilisation significatif. De plus, les produits d'OpenAI sont de plus en plus banalisés, Google, Meta, Amazon et même Microsoft construisant des modèles d'IA générative pour les concurrencer. Pire encore, ces modèles utilisent tous des données d'entraînement identiques, ce qui rend leurs résultats de plus en plus similaires.

Face à des améliorations de plus en plus marginales, les entreprises technologiques sont confrontées à une question fondamentale : est-il rentable de continuer à investir massivement dans le développement de modèles de langage de plus en plus volumineux et complexes, pour des gains de performance de plus en plus faibles ? De nombreux acteurs pourraient être tentés de rediriger leurs efforts vers des applications plus spécifiques de l’IA, ou d’explorer des approches alternatives, comme les modèles hybrides qui combinent apprentissage supervisé et raisonnements basés sur des règles, ou encore les modèles multi-agents qui permettent une coopération entre IA.


Le PDG d'OpenAI demeure confiant quant à la possibilité d'atteindre l'intelligence artificielle générale

Néanmoins, dans une récente interview, le PDG d'OpenAI, Sam Altman, est resté optimiste. Il a déclaré que la voie vers l'intelligence artificielle générale (AGI) était toute tracée et que ce qu'il fallait, c'était une utilisation créative des modèles existants. Altman pourrait faire référence à la combinaison des LLM avec des approches de raisonnement telles que o1 et l'IA agentique.


Noam Brown, éminent développeur d'IA à l'OpenAI et ancien employé de Meta qui a contribué à la création de o1, affirme que la déclaration d'Altman reflète l'opinion de la plupart des chercheurs de l'OpenAI. Le nouveau modèle o1 vise à créer de nouvelles opportunités de mise à l'échelle. Il met l'accent non plus sur la formation, mais sur l'inférence, c'est-à-dire le temps de calcul dont disposent les modèles d'IA pour accomplir des tâches. Brown estime que cette approche constitue une « nouvelle dimension pour la mise à l'échelle ».

Mais elle nécessitera des milliards de dollars et une importante consommation d'énergie. Il s'agit là d'une question clé pour l'industrie dans les mois à venir : La construction de modèles d'IA toujours plus puissants - et des énormes centres de données qu'ils nécessitent - a-t-elle un sens économique et environnemental ? OpenAI semble le penser.

François Chollet, expert en intelligence artificielle chez Google, a critiqué la mise à l'échelle des modèles de langage pour les tâches mathématiques. Il a qualifié de « particulièrement obtus » le fait de citer les progrès réalisés dans les tests mathématiques comme preuve de l'existence de l'AGI.

Chollet affirme que les données empiriques montrent que l'apprentissage profond et les grands modèles de langage ne peuvent pas résoudre les problèmes mathématiques de manière indépendante. Ils ont plutôt besoin de méthodes de recherche discrète, c'est-à-dire d'approches systématiques qui vérifient différents chemins de solution plutôt que de prédire des réponses probables comme le font les modèles de langage.

Il a également critiqué l'utilisation de « LLM » comme terme de marketing pour toutes les avancées actuelles en matière d'IA, même lorsqu'elles ne sont pas liées aux modèles de langage. Il a souligné que l'intégration de Gemini dans AlphaProof de Google Deepmind était « essentiellement cosmétique et à des fins de marketing ».

Perspectives et innovations à venir

Dans un contexte où les progrès techniques ralentissent, le secteur pourrait entrer dans une phase de consolidation. Celle-ci serait axée sur l’optimisation des modèles actuels, sur leur applicabilité à des contextes industriels précis et sur la réflexion éthique et réglementaire. Cette période de consolidation pourrait être bénéfique, offrant l’occasion de renforcer la fiabilité des modèles existants, de perfectionner les techniques de modération des IA, et d’explorer des applications à valeur ajoutée réelle.

Bien que la stagnation actuelle soit indéniable, elle ne signifie pas pour autant une impasse définitive pour le secteur. Plusieurs pistes de recherche, encore émergentes, pourraient raviver la dynamique d'innovation. Parmi elles, la recherche de modèles plus « frugaux », capables de performances optimales avec moins de données et de puissance de calcul, et l'exploration de l'IA quantique, qui pourrait révolutionner la manière dont les modèles sont entraînés et optimisés.

Conclusion

L'industrie des modèles de langage, bien que marquant un ralentissement, reste un secteur à fort potentiel d'innovation. L'annonce d'Orion, avec ses progrès modestes par rapport à GPT-4, illustre un moment charnière dans l’évolution de l’IA. Cette période pourrait s'avérer décisive pour encourager des approches alternatives et pour recentrer les efforts sur des applications plus pratiques et socialement responsables. Dans les années à venir, l'IA devra se réinventer pour retrouver son élan et répondre aux attentes croissantes de la société.

Source : vidéo YouTube dans le texte

Et vous ?

Pourquoi, selon vous, observe-t-on cette stagnation dans les performances des modèles de langage ? Est-ce un manque de technologie, de données, ou des limites théoriques encore non résolues ?
La loi des rendements décroissants signifie-t-elle que nous avons atteint une limite naturelle dans la compréhension du langage par les machines, ou est-ce simplement une pause avant une nouvelle percée ?
Est-il encore justifié de continuer à investir massivement dans le développement de modèles toujours plus volumineux, alors que les gains sont de plus en plus marginaux ? Devrait-on orienter ces ressources vers d’autres formes d’IA ou des applications plus ciblées ?
Quels types d’approches pourraient renouveler la dynamique dans l’industrie de l’IA ? Pensez-vous que des modèles hybrides, l'IA quantique ou les modèles multi-agents représentent des alternatives viables aux architectures actuelles ?
La relative stagnation dans les progrès des modèles de langage pourrait-elle freiner l’adoption de l’IA dans des secteurs non technologiques ? Comment l’industrie pourrait-elle rassurer les utilisateurs finaux quant à la pertinence et à la sécurité de ces technologies ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Aiekick
Membre extrêmement actif https://www.developpez.com
Le 11/11/2024 à 18:11
c'était previsible. l'ia trouve de moins en moins de contenu créé par des humains pour entrainement. c'est comme faire une copie d'une copie. on accumule l'erreur, on perd en qualité.

c'est pour ca que l'IA est une bulle qui peut eclater a moins que l'on trouve une nouvelle voie tehcnologique.
3  0 
Avatar de _toma_
Membre confirmé https://www.developpez.com
Le 12/11/2024 à 11:21
Pour la supervision humaine afin d'éviter les dérives et assurer une utilisation sûre et éthique ... c't'une blague, non ?
J'utilise absolument aucun produit de génération de contenu. Hier j'ai voulu voir où on en était de la facilité d'accès pour les truc malsains. J'ai pris sur le net une image d'une femme au hasard que j'ai sauvegardé. J'ai tapé "nude generator" dans duckduckgo. Le premier lien dans les résultats (c'est le seul que j'ai testé) m'a permis en 30 secondes d'avoir la même photo avec la femme complètement nue (même pas besoin de créer un compte sur le site).
L'éthique c'est à la fois le fournisseur de service et l'utilisateur final qui doivent l'avoir donc je vois pas quoi dire à part : c'est déjà foutu.
3  0 
Avatar de Fluxgraveon
Membre habitué https://www.developpez.com
Le 12/11/2024 à 9:13
En fin de compte, bien que les modèles d'OpenAI ouvrent des perspectives fascinantes, leur imperfection invite à la prudence. Tant que la technologie ne pourra pas garantir une précision impeccable, il sera essentiel de limiter les attentes et de renforcer la supervision humaine pour éviter les dérives et assurer une utilisation sûre et éthique de l'intelligence artificielle.
Pour la supervision humaine afin d'éviter les dérives et assurer une utilisation sûre et éthique ... c't'une blague, non ?
Pour la précision impeccable de la technologie, cela ressemble à la résolution du principe d'incertitude de Heisenberg ... même si vous suivez les travaux de Roy Jay Glauber (l'information quantique n'est pas entachée par le théorème de Heisenberg), vous perdrez la qualité prédictive et cela s'effondrera de la même façon (qu'avec le traitement LLM).
2  0 
Avatar de _toma_
Membre confirmé https://www.developpez.com
Le 13/11/2024 à 2:21
Bah oui
Intelligence artificielle
Générateur de contenu
2  0 
Avatar de d_d_v
Membre éprouvé https://www.developpez.com
Le 12/11/2024 à 15:28
Citation Envoyé par Aiekick Voir le message
c'était previsible. l'ia trouve de moins en moins de contenu créé par des humains pour entrainement. c'est comme faire une copie d'une copie. on accumule l'erreur, on perd en qualité.

c'est pour ca que l'IA est une bulle qui peut eclater a moins que l'on trouve une nouvelle voie tehcnologique.
Je pense que ça n'a aucun rapport. C'est juste que ce qu'on appelle injustement l'IA n'est pas conçu pour donner des réponses précises, puisque ces moteurs se basent en grande partie sur des systèmes probabilistes. Donc, c'est bien pour donner des réponses "probables", de faire de "l'à peu près"
Très bien en fait pour lancer le premier jet d'un projet (quelque soit le domaine), ou pour donner des suggestions sur tel ou tel problème, par pour résoudre le problème ou faire un projet de A à Z.
1  0 
Avatar de vVDB.fr
Membre régulier https://www.developpez.com
Le 13/11/2024 à 7:10
Les responsables sont les entreprises, en premier Sam Altman qui raconte que c'est le top en permanence que l'IA générale est pour 2025. C'est lui le fou.
Lorsque vous n'avez pas de données suffisantes sur un domaine les résultats sont bidons, la probabilité est nulle d'avoir une réponse cohérente... Le vieux 'garbage in, garbage out'.
Le discours d'Altman n'est lÃ* que pour récolter des milliards pour lui. L'humanité il s'en fout. Quand on a un produit qui fait 40% d'erreurs on a la descendance de le retirer du marché, on ne fait pas la promotion d'un mauvais prototype.
Allez utiliser un tableur qui donne des résultats correct une fois sur deux... Vous n'en voulez pas pourtant c'est super génial ! Hein !
Il faut connaître le périmètre d'entraînement du modèle avec un volume de données important et solliciter le modèle exclusivement dans le périmètre defini afin d'obtenir une réponse probabiliste correcte.

l'IA 'généraliste' est une hallucination d'apprentis milliardaires, la dérive ultime du système des startups.
1  1 
Avatar de Fluxgraveon
Membre habitué https://www.developpez.com
Le 13/11/2024 à 11:57
Bah oui
Intelligence artificielle
Générateur de contenu
Certes ...
https://techxplore.com/news/2024-11-...den-links.html
0  2