Le rapport sur l'état de l'IA révèle que l'avance d'OpenAI sur les autres entreprises d'IA a largement disparu. Claude 3.5 "Sonnet" d'Anthropic, Gemini 1.5 de Google, Grok 2 de X et même le modèle open-source Llama 3.1 405 B de Meta ont égalé, ou dépassé de justesse sur certains benchmarks, GPT-4o d'OpenAI. Le rapport confirme également qu'à sa sortie, GPT-4 a écrasé tous les autres LLM ainsi que de nombreux humains.OpenAI est une organisation américaine de recherche en intelligence artificielle (IA) fondée en décembre 2015. Elle s'est donnée pour mission de développer une intelligence générale artificielle (AGI) "sûre et bénéfique", qu'elle définit comme "des systèmes hautement autonomes qui surpassent les humains dans la plupart des tâches économiquement utiles". Son lancement de ChatGPT en novembre 2022 a été crédité d'avoir catalysé l'intérêt généralisé pour l'IA générative.
Chaque année depuis sept ans, Nathan Benaich, fondateur et partenaire général de la société d'investissement en IA en phase de démarrage Air Street Capital, produit un rapport sur l'état de l'IA. Nathan Benaich et ses collaborateurs ont rassemblé une grande quantité de données pour donner un aperçu de l'évolution des capacités de la technologie, du paysage des entreprises qui la développent, d'une enquête sur la manière dont l'IA est déployée et d'un examen critique des défis qui se posent encore dans ce domaine.
L'un des principaux enseignements du rapport de cette année 2024 est que l'avance d'OpenAI sur les autres laboratoires d'IA s'est largement érodée. Claude 3.5 "Sonnet" d'Anthropic, Gemini 1.5 de Google, Grok 2 de X et même le modèle open-source Llama 3.1 405 B de Meta ont égalé, ou dépassé de justesse sur certains benchmarks, GPT-4o d'OpenAI. Mais, d'un autre côté, OpenAI conserve pour l'instant un avantage sur les tâches de raisonnement avec la sortie de son modèle o1 "Strawberry", que le rapport d'Air Street caractérise à juste titre comme un mélange étrange de capacités logiques incroyablement fortes pour certaines tâches, et étonnamment faibles pour d'autres.
Le rapport montre également que le coût d'utilisation d'un modèle d'IA formé - une activité connue sous le nom d'"inférence" - diminuait rapidement. Il y a plusieurs raisons à cela. L'une d'entre elles est liée à la première grande constatation : Les modèles étant moins différenciés les uns des autres en termes de capacités et de performances, les entreprises sont obligées de rivaliser en termes de prix.
Une autre raison est que les ingénieurs d'entreprises telles qu'OpenAI et Anthropic - et leurs partenaires hyperscalers Microsoft et AWS, respectivement - découvrent des moyens d'optimiser l'exécution des plus grands modèles sur les grands clusters de GPU. Le coût des sorties du modèle GPT-4o d'OpenAI est aujourd'hui 100 fois moins élevé par jeton qu'il ne l'était pour le modèle GPT-4 lorsqu'il a été lancé en mars 2023. Gemini 1.5 Pro de Google coûte aujourd'hui 76 % de moins par jeton de sortie que lors du lancement de ce modèle en février 2024.
Les chercheurs en IA sont également devenus capables de créer de petits modèles d'IA qui peuvent égaler les performances des grands LLM en matière de dialogue, de résumé ou même de codage, tout en étant beaucoup moins coûteux à exécuter. Ensemble, ces deux tendances signifient que les aspects économiques de la mise en œuvre de solutions basées sur l'IA commencent à être beaucoup plus attrayants qu'ils ne l'étaient il y a un an. Cela pourrait en fin de compte aider les entreprises à trouver le retour sur investissement de l'IA générative dont elles se plaignent qu'il a été insaisissable jusqu'à présent.
Voici quelques informations sur la situation d'OpenAI selon le rapport :
- GPT-4 écrase tous les autres LLM, ainsi que de nombreux humains
GPT-4 est le dernier grand modèle de langage d'OpenAI. Contrairement au GPT-3 et à ses successeurs, qui ne comprennent que du texte, GPT-4 est multimodal : il a été formé à la fois sur du texte et des images ; il peut, entre autres, générer du texte à partir d'images. Avec 8 192 tokens au moment de sa sortie, il avait déjà dépassé le meilleur GPT-3.5 en termes de taille d'entrée possible. Il est, bien entendu, entraîné à l'aide de la RLHF. Grâce à ces avancées, le GPT-4 est, au moment de la publication du rapport, le modèle d'IA le plus généralement performant et incontesté.
OpenAI a réalisé une évaluation complète de GPT-4, non seulement sur des benchmarks NLP classiques, mais aussi sur des examens conçus pour évaluer les humains (par exemple, l'examen du barreau, le GRE, le Leetcode). GPT-4 résout certaines tâches que le GPT-3.5 n'a pas réussi à faire, comme l'examen uniforme du barreau, pour lequel le GPT-4 obtient un score de 90 % contre 10 % pour le GPT-3.5. Pour la plupart des tâches, la composante vision ajoutée n'a eu qu'un impact mineur, mais elle a été d'une aide précieuse pour d'autres. OpenAI rapporte que, bien que GPT-4 souffre encore d'hallucinations, il est factuellement correct 40 % plus souvent que le meilleur modèle ChatGPT précédent sur un ensemble de données contradictoires de véracité (généré pour tromper les modèles d'IA). - GPT et LLaMAs remportent le concours de popularité
ChatGPT a le plus grand nombre de mentions sur X (5430 fois), suivi par GPT-4 et LLaMA. Alors que les modèles propriétaires à code source fermé retiennent le plus l'attention, l'intérêt pour les LLM à code source ouvert et à usage commercial s'accroît.
Fait intéressant, récemment OpenAI a clôturé une nouvelle levée de fonds impressionnante de 6,6 milliards de dollars, portant sa valorisation à 157 milliards de dollars, soit près du double de son évaluation précédente de 86 milliards de dollars. Cette levée de fonds, l’une des plus importantes jamais réalisées dans le secteur privé, renforce la position d’OpenAI parmi les startups les plus valorisées au monde, aux côtés de SpaceX et ByteDance. Néanmoins, cela n'empêche pas Ed Zitron, critique fréquent de l'IA, d'estimer qu'OpenAI est une mauvaise entreprise, estimant qu'il y a "quelques raisons de s'inquiéter".
Selon le critique, OpenAI n'a rien eu de vraiment important depuis le lancement de GPT-3.5, et son récent modèle o-1 n'a pas été particulièrement impressionnant. Il serait également beaucoup plus coûteux à utiliser, et OpenAI n'arrive même pas à trouver un cas d'utilisation significatif. De plus, les produits d'OpenAI sont de plus en plus banalisés, Google, Meta, Amazon et même Microsoft construisant des modèles d'IA générative pour les concurrencer. Pire encore, ces modèles utilisent tous des données d'entraînement identiques, ce qui rend leurs résultats de plus en plus similaires.
Source : "STATE OF AI REPORT 2023" (Air Street Capital)
Et vous ?
Pensez-vous que ce rapport est crédible ou pertinent ? Quel est votre avis sur la situation d'OpenAI ?Voir aussi :
"La transformation d'OpenAI en une véritable entreprise est en train de la déchirer : trois dirigeants démissionnent, tandis que des informations sur un changement potentiel de structure font surface" Les benchmarks suggèrent que les modèles IA open source comblent l'écart avec les modèles propriétaires. Les capacités de Llama 3 8b sont incroyables et se rapprochent de Wizard 2 8x22b, selon un ingénieur L'IA open-source AlphaCodium de Qodo serait plus performante que o1 d'OpenAI en matière de génération de code avec un flux en plusieurs étapes qui met l'accent sur l'amélioration continue par itération