OpenAI a réalisé une série d'avancées impressionnantes dans l'IA qui fonctionne avec le langage ces dernières années en prenant des algorithmes d'apprentissage automatique existants et en les faisant évoluer jusqu'à une taille inimaginable auparavant. GPT-4, le dernier de ces projets, a probablement été formé à l'aide de milliards de mots de texte et de plusieurs milliers de puces informatiques puissantes. Le processus a coûté plus de 100 millions de dollars.Mais le PDG de la société, Sam Altman, affirme que de nouveaux progrès ne proviendront pas de l'agrandissement des modèles : « Je pense que nous sommes à la fin de l'ère où règneront ces modèles géants », a-t-il déclaré à un public lors d'un événement organisé au MIT à la fin de la semaine dernière. « Nous allons les rendre meilleurs par d'autres moyens ».
La déclaration d'Altman suggère une tournure inattendue dans la course au développement et au déploiement de nouveaux algorithmes d'IA. Depuis qu'OpenAI a lancé ChatGPT en novembre, Microsoft a utilisé la technologie sous-jacente pour ajouter un chatbot à son moteur de recherche Bing, et Google a lancé un chatbot rival appelé Bard. De nombreuses personnes se sont précipitées pour expérimenter l'utilisation de la nouvelle race de chatbot pour aider au travail ou à des tâches personnelles.
Pendant ce temps, de nombreuses startups bien financées, dont Anthropic, AI21, Cohere et Character.AI, consacrent d'énormes ressources à la construction d'algorithmes toujours plus grands dans le but de rattraper la technologie d'OpenAI. La version initiale de ChatGPT était basée sur une version légèrement améliorée de GPT-3, mais les utilisateurs peuvent désormais également accéder à une version alimentée par le GPT-4 plus performant.
La déclaration d'Altman suggère que GPT-4 pourrait être la dernière avancée majeure à émerger de la stratégie d'OpenAI consistant à agrandir les modèles et à leur fournir plus de données. Il n'a pas dit quel genre de stratégies ou de techniques de recherche pourraient prendre sa place. Dans l'article décrivant GPT-4, OpenAI indique que ses estimations suggèrent des rendements décroissants lors de l'augmentation de la taille du modèle. Altman a déclaré qu'il existe également des limites physiques au nombre de centres de données que l'entreprise peut construire et à la rapidité avec laquelle elle peut les construire.
Un argument qui « sonne vrai » pour le cofondateur de Cohere
Nick Frosst, cofondateur de Cohere qui travaillait auparavant sur l'IA chez Google, affirme que le sentiment d'Altman selon lequel « agrandir ne fonctionnera pas indéfiniment » sonne vrai. Lui aussi pense que les progrès sur les transformateurs, le type de modèle d'apprentissage automatique au cœur de GPT-4 et de ses rivaux, vont au-delà de l'évolutivité. « Il existe de nombreuses façons de rendre les transformateurs bien meilleurs et plus utiles, et beaucoup d'entre eux n'impliquent pas l'ajout de paramètres au modèle », dit-il. Frosst dit que de nouvelles conceptions ou architectures de modèles d'IA et un réglage supplémentaire basé sur la rétroaction humaine sont des directions prometteuses que de nombreux chercheurs explorent déjà.
Chaque version de la famille influente d'algorithmes de langage d'OpenAI consiste en un réseau de neurones artificiels, un logiciel vaguement inspiré de la façon dont les neurones fonctionnent ensemble, qui est formé pour prédire les mots qui doivent suivre une chaîne de texte donnée.
Voici l'historique des version GPT :
- GPT-1 : OpenAI a publié GPT-1 en 2018. Ce modèle de langage génératif a été formé à l'aide de l'énorme ensemble de données BooksCorpus, ce qui lui a permis d'apprendre une vaste gamme de relations et d'acquérir des connaissances approfondies sur une grande variété de textes continus et de passages étendus. Ce modèle était une preuve de concept et n'a pas été rendu public.
- GPT2 : plus tard en 2019, OpenAI a mis sur pieds GPT-2, créant un meilleur modèle de langage en utilisant un ensemble de données plus volumineux et davantage de paramètres. GPT-2 utilise également le décodeur du modèle de Transformer, comme GPT-1. La conception et la mise en œuvre du modèle dans GPT-2 représentent certains des changements les plus notables ; GPT-2 est 10 fois plus grand que GPT-1 (117 millions de paramètres) et contient 10 fois plus de paramètres et de données. C'était à la pointe de la technologie en 2019.
- GPT3 : GPT3 était la version où de nombreuses personnes ont fait la rencontre des LLM. Il s'agit du grand modèle de prédiction et de génération de langage d'OpenAI. Cette version peut reproduire le texte original dans de grandes sections. Le logiciel de langage d'intelligence artificielle GPT-3 a changé la donne pour OpenAI. En termes simples, c'est un programme qui peut créer des paragraphes si frais et originaux qu'ils semblent presque écrits à la main. Avec l'aide de GPT3, ChatGPT a gagné 100 millions d'utilisateurs en seulement deux mois, ce qui en fait l'application en ligne à la croissance la plus rapide de l'histoire.
- GPT4 : afin de rendre les modèles plus précis et de fournir moins de résultats désagréables ou nuisibles, GPT4 a été créé pour améliorer leur « alignement ». L'alignement fait référence à la capacité d'un modèle à suivre les objectifs de l'utilisateur.
Les capacités remarquables de GPT-4 ont stupéfié certains experts et suscité un débat sur le potentiel de l'IA pour transformer l'économie, mais aussi propager la désinformation et supprimer des emplois.
Aussi, dans une lettre ouverte publiée en mars, Elon Musk et un groupe d'experts en intelligence artificielle et de dirigeants de l'industrie ont demandé une pause de six mois dans le développement de systèmes plus puissants que le GPT-4 récemment lancé par OpenAI, en invoquant les risques potentiels pour la société et l'humanité.
La lettre, publiée par l'organisation à but non lucratif Future of Life Institute et signée par plus de 1 000 personnes, dont Musk, appelle à une pause dans le développement de l'IA avancée jusqu'à ce que des protocoles de sécurité partagés pour de telles conceptions soient élaborés, mis en œuvre et contrôlés par des experts indépendants. « Des systèmes d'IA puissants ne devraient être développés qu'une fois que nous sommes certains que leurs effets seront positifs et que leurs risques seront gérables », peut-on lire dans la lettre.
La lettre détaille les risques potentiels pour la société et la civilisation que représentent les systèmes d'IA compétitifs pour les humains, sous la forme de perturbations économiques et politiques, et appelle les développeurs à travailler avec les décideurs politiques sur la gouvernance et les autorités de régulation.
Parmi les cosignataires figurent Emad Mostaque, PDG de Stability AI, des chercheurs de DeepMind, propriété d'Alphabet (GOOGL.O), et des poids lourds de l'IA, Yoshua Bengio, souvent considéré comme l'un des "parrains de l'IA", et Stuart Russell, pionnier de la recherche dans ce domaine.
Ce qui pourrait expliquer pourquoi OpenAI ne « travaille pas actuellement sur GPT-5 » ?
S'exprimant lors du même événement au MIT, Altman a été interrogé sur cette lettre ouverte diffusée dans le monde de la technologie qui demandait que des laboratoires comme OpenAI suspendent le développement de systèmes d'IA « plus puissants que GPT-4 ». La lettre a mis en évidence des préoccupations concernant la sécurité des futurs systèmes, mais a été critiquée par de nombreux acteurs de l'industrie, y compris un certain nombre de signataires. Les experts ne sont pas d'accord sur la nature de la menace posée par l'IA (est-elle existentielle ou plus banale ?) ainsi que sur la manière dont l'industrie pourrait s'y prendre pour « suspendre » le développement en premier lieu.
Au MIT, Sam Altman a expliqué qu’il approuve certaines parties de la lettre ouverte. Il n'a pas manqué de rappeler qu’OpenAI a observé une pause de six mois après l’entraînement de GPT-4. Un délai au cours duquel l’entreprise dit avoir cherché à rendre l’outil plus sûr, pour limiter des comportements inadéquats, bien que dans la pratique ils existent encore. Rappelons à ce titre l'enquête conduite News Guard, qui étudie la fiabilité et la véracité des contenus diffusés en ligne. GPT-4 « est en fait plus susceptible de générer des informations erronées », avance News Guard, mais en plus l’outil se montre « plus convaincant dans sa capacité à le faire ».
Sam Altman a aussi affiché son accord avec l’idée de rehausser les exigences en matière de sûreté en fonction des progrès de ces outils. « Nous faisons d'autres choses en plus du GPT-4 qui, je pense, à toutes sortes de problèmes de sécurité qu'il est important de résoudre et qui ont été totalement ignorés », a-t-il reconnu.
Cependant, il a affirmé que la lettre « manquait la plupart des nuances techniques sur l'endroit où nous avons besoin de la pause » et a noté qu'une version antérieure affirmait qu'OpenAI entraînait actuellement GPT-5. « Nous ne le faisons pas et ne le ferons pas avant un certain temps », a déclaré Altman. « Donc, dans ce sens, c'était un peu idiot ».
Source : vidéo dans le texte
Et vous ?
Que pensez-vous des propos de Sam Altman ? Partagez-vous son point de vue ? Dans quelle mesure ? 
Envoyé par Stéphane le calme
