L'édition 2023 du rapport "State of AI" analyse les développements les plus pertinents dans le domaine de l'IA au cours des derniers mois. Il révèle que les logiciels libres semblaient prendre la tête de l'IA l'année dernière, mais les Big Tech ont réaffirmé leur emprise sur le secteur en 2023. Il indique que GPT-4 surpasse de loin les modèles de langage existants et qu'il est difficile pour les concurrents d'OpenAI de rattraper ses capacités. Le rapport souligne également que le "calcul" est le nouveau pétrole, ce qui signifie que les fabricants proposant les puces d'IA les plus performantes enregistrent des bénéfices records, et que les utilisateurs de ces puces ont un avantage concurrentiel.Le rapport "State of AI", qui en est à sa sixième édition, est devenu un indicateur populaire pour le secteur de l'IA, soulignant les tendances et faisant des prédictions pour l'année à venir. Il vise également à susciter une conversation éclairée sur l'état de l'IA et ses implications pour l'avenir. Cette année, le rapport a été compilé par Nathan Benaich, fondateur de la société londonienne de capital-risque Air Street Capital. Les années précédentes, Ian Hogarth, un investisseur qui dirige aujourd'hui le groupe de travail du gouvernement britannique sur la sécurité de l'IA, en était le coauteur. Voici ci-dessous les points forts du rapport State of AI 2023 :
GPT-4 reste leader sur le marché des grands modèles de langage
Le rapport de cette année indique que GPT-4 d'OpenAI reste le grand modèle de langage (LLM) le plus puissant huit mois après sa sortie. GPT-4 est un LLM multimodal, ce qui signifie qu'il prend en charge différents types de données en entrée - notamment du texte et des images - et produit des résultats sous forme de texte. Comme son prédécesseur, GPT-3.5, GPT-4 se distingue principalement par sa capacité à répondre à des questions en langage naturel et à d'autres invites. Selon OpenAI, GPT-4 peut suivre des instructions complexes en langage naturel et résoudre des problèmes (mathématiques) difficiles avec précision, raconter des histoires, etc.
En outre, GPT-4 peut résumer de grandes parties de contenu, ce qui pourrait être utile pour les références des consommateurs ou les cas d'utilisation professionnelle, comme une infirmière résumant les résultats de sa visite à un client. Selon le nouveau rapport State of AI, GPT-4 surpasse de loin tous les autres grands modèles de langage à la fois sur les benchmarks classiques et sur les examens conçus pour évaluer les humains. Toutefois, le rapport souligne qu'il est de plus en plus difficile de comparer les modèles d'IA à mesure qu'ils deviennent plus puissants et plus flexibles. Google travaille sur Gemini, un modèle d'IA prévu pour surpasser GPT-4.
Jusque-là, très peu d'informations ont filtré sur Gemini. En août, un rapport a révélé que Gemini devrait combiner les capacités de GPT-4 avec des techniques de formation tirées d'AlphaGo, telles que l'apprentissage par renforcement et la recherche arborescente. Il aurait le potentiel de détrôner ChatGPT en tant que solution d'IA générative la plus dominante de la planète. Gemini semble être la réponse stratégique de Google à ChatGPT. Le lancement de ChatGPT a ébranlé Google dans ses fondements. La menace était telle que le géant de la recherche a dû déclarer un code rouge et commencer à investir pour rattraper son retard sur OpenAI.
Bing Chat de Microsoft est un assistant d'IA déployé dans une barre latérale à côté du moteur de recherche Bing. Les utilisateurs peuvent lui demander de répondre à des questions ou de générer des images. Bing Chat est basé sur GPT-4. Microsoft et OpenAI sont liés par un partenariat à travers lequel OpenAI bénéficie de la puissance de calcul de l'infrastructure cloud (Azure) et de milliards d'investissements de Microsoft, tandis que la firme de Redmond bénéficie d'un accès exclusif aux technologies d'IA de la startup d'IA. Les autres concurrents de GPT-4 comprennent Llama 2 de Meta, Pi d'Inflection AI, Claude d'Anthropic et Bard de Google.
La communauté open source de l'IA tente de rattraper son retard
Selon le rapport, alors que l'année dernière, les logiciels libres semblaient prendre la tête de l'IA, les grandes entreprises technologiques ont réaffirmé leur emprise sur le secteur en 2023. Cette année, dans un contexte de pénurie persistante de puces informatiques puissantes, les plus grandes entreprises technologiques ont tiré parti à la fois de leur infrastructure informatique existante et de leurs importantes réserves de capitaux, car les liquidités nécessaires à la formation de grands modèles d'IA continuent de grimper. La pénurie des puces semble s'éterniser et tend parfois à être exacerbée par la guerre commerciale entre la Chine et les États-Unis.
« L'année dernière, nous avons vu beaucoup de gens se réunir sur des serveurs Discord, nous avons vu beaucoup de modèles open source, et il ne semblait pas que les Big Tech fassent grand-chose. Cette année, il semble que l'on assiste à un retour en force dans l'autre sens, avec pratiquement toutes les entreprises technologiques publiques qui prennent des mesures pour développer ou intégrer des systèmes d'IA dans leurs produits. Le monde de l'open source est toujours très dynamique et tente rapidement de rattraper les capacités des modèles d'IA propriétaires, mais il ne semble pas évident de cloner GPT-4 à 100 % », explique Nathan Benaich.
L'auteur du rapport affirme qu'en 2023, la culture des entreprises d'IA partageant ouvertement leurs recherches de pointe a pris fin. OpenAI a refusé de partager toute information utile sur l'architecture du système GPT-4, évoquant des risques de sécurité. Google et Anthropic ont pris des décisions similaires concernant leurs modèles respectifs. « Alors que les enjeux économiques et les préoccupations en matière de sécurité sont de plus en plus importants (vous pouvez choisir ce que vous voulez croire), les entreprises traditionnellement ouvertes ont adopté une culture d'opacité à propos de leurs recherches les plus pointues », indique le rapport.
En revanche, Meta a décidé cette année de supporter la communauté open source en publiant en libre accès ses modèles d'IA Llama et Llama 2. D'autres initiatives ont en outre vu le jour au cours de l'année dans la communauté open source, dont le modèle d'IA open source Falcon 180B de 180 milliards de paramètres de l'Institut de l'innovation technologique (TII) d'Abu Dhabi, aux Émirats arabes unis. La startup française Mistral AI a également publié Mistral 7B, un modèle d'IA open source de 7,3 milliards de paramètres, qui serait plus performant que le modèle d'IA Llama 2 13B de Meta. Ces initiatives open source sont critiquées par OpenAI, Google, etc.
Quelques autres conclusions importantes du rapport State of AI 2023
- les efforts se multiplient pour tenter de cloner ou de surpasser les performances des entreprises, grâce à des modèles plus petits, de meilleurs ensembles de données et un contexte plus long. Ces efforts pourraient gagner en urgence, alors que l'on craint que les données générées par l'homme ne puissent soutenir les tendances d'évolution de l'IA que pendant quelques années encore ;
- les LLM et les modèles de diffusion continuent de favoriser les percées dans le monde réel, en particulier dans les sciences de la vie, avec des avancées significatives en biologie moléculaire et dans la découverte de médicaments ;
- le calcul est le nouveau pétrole, Nvidia enregistrant des bénéfices records. Alors que les États-Unis renforcent leurs restrictions commerciales à l'égard de la Chine et mobilisent leurs alliés dans la guerre des puces, Nvidia, Intel et AMD ont commencé à vendre à grande échelle des puces résistantes aux contrôles à l'exportation ;
- l'IA générative sauve le monde du capital-risque, car dans un contexte d'effondrement des valorisations technologiques, les startups d'IA axées sur les applications d'IA générative (y compris la vidéo, le texte et le codage) ont levé plus de 18 milliards de dollars auprès d'investisseurs en capital-risque et d'entreprises ;
- le débat sur la sécurité a pris une ampleur considérable, incitant les gouvernements et les régulateurs du monde entier à prendre des mesures. Toutefois, cette effervescence cache de profondes divisions au sein de la communauté de l'IA et un manque de progrès concrets vers une gouvernance mondiale, car les gouvernements du monde entier poursuivent des approches contradictoires ;
- l'évaluation des modèles les plus récents pose des problèmes, car les modèles d'apprentissage tout au long de la vie standard ont souvent du mal à être robustes. Compte tenu des enjeux, une approche "basée sur les vibrations" n'est pas suffisante.
Comme chaque année, le rapport fait quelques prédictions pour l'année à venir. Parmi les prédictions pour 2024, il y a :
- une production hollywoodienne utilise l'IA générative pour ses effets visuels ;
- une société de médias utilisant l'IA générative fait l'objet d'une enquête pour son utilisation abusive lors des élections américaines de 2024 ;
- l'engouement pour la mise à l'échelle de l'IA générative voit un groupe dépenser plus d'un milliard de dollars pour former un seul modèle à grande échelle ;
- les progrès en matière de gouvernance mondiale de l'IA sont limités à des engagements volontaires de haut niveau ;
- une chanson générée par l'IA entre dans le Top 10 du Billboard Hot 100 ou dans le Top Hits 2024 de Spotify.
- en raison de problèmes d'application et d'interprétation, la loi sur l'IA de l'Union européenne n'est pas adoptée à grande échelle en tant que modèle de réglementation de l'IA.
Source : State of AI 2023
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des conclusions du rapport State of AI 2023 ? Considérez-vous GPT-4 comme le modèle d'IA le plus performant sur le marché ? La communauté open source est-elle en mesure de rattraper son retard sur les Big Tech ? Que pensez-vous des arguments avancés par Google et OpenAI pour combattre les modèles d'IA open source ? Considérez-vous également le calcul comme le nouveau pétrole ? Les fabricants de puces entretiennent-ils la pénurie ? Est-il possible de parvenir à une gouvernance mondiale de l'IA comme c'est le cas avec l'énergie nucléaire ? Le projet de loi de l'UE pourrait-il encadrer efficacement le développement de l'IA ? Cette réglementation est-elle prématurée ? Que pensez-vous des prédictions du rapport, en particulier celle concernant la réglementation de l'UE sur l'IA ?Voir aussi
Une fuite de données révèle des informations sur le modèle d'IA Gemini de Google et sur son outil d'IA secret appelé Stubbs, qui permet de générer une application fonctionnelle à partir d'une invite Falcon 180B : un modèle d'IA open source avec 180 milliards de paramètres entraînés sur 3 500 milliards de jetons, il serait plus performant que le modèle Llama 2 de Meta et égale PaLM-2 de Google La puce d'IA Nvidia H100 à 40 000 dollars est devenue le matériel informatique le plus convoité au monde et rapproche Nvidia des 1 000 milliards de dollars de capitalisation boursière