Les résultats d’une étude de Microsoft sur les différences entre GPT-3 et GPT-4, deux versions de la technologie ChatGPT d’OpenAI montre que GPT-4 était capable de résoudre des problèmes complexes qui nécessitaient une compréhension du monde physique, comme empiler un livre, neuf œufs, un ordinateur portable, une bouteille et un clou de manière stable. Les chercheurs ont été impressionnés par la réponse ingénieuse de GPT-4, qui consistait à disposer les œufs en une grille de trois par trois sur le livre, puis à poser le portable dessus. Ils ont estimé que GPT-4 montrait des « étincelles » d’intelligence artificielle générale (AGI), c’est-à-dire une intelligence comparable à celle des humains. Il n'existe pas de définition de l'intelligence qui fasse l'objet d'un consensus général, mais un aspect largement accepté est que l'intelligence ne se limite pas à un domaine ou à une tâche spécifique, mais qu'elle englobe plutôt un large éventail de compétences cognitives et d'aptitudes. Dans leurs premiers écrits, les fondateurs de la discipline moderne de la recherche sur l'intelligence artificielle (IA) ont parlé d'objectifs aspirationnels pour comprendre l'intelligence.
Au fil des décennies, les chercheurs en IA ont étudié les principes de l'intelligence, y compris les mécanismes généralisables de raisonnement et la construction de bases de connaissances contenant un large corpus de connaissances de bon sens. Cependant, bon nombre des succès récents de la recherche en IA peuvent être décrits comme étant étroitement concentrés sur des tâches et des défis bien définis, tels que le jeu de Chorus ou Go, qui ont été maîtrisés par des systèmes d'IA en 1996 et 2016, respectivement.
Vers la fin des années 1990 et au cours des années 2000, les appels au développement de systèmes d'IA plus généraux se sont multipliés (par ex, SBD+96]) et la recherche dans ce domaine a cherché à identifier les principes qui pourraient sous-tendre les systèmes d'intelligence générale (par exemple, [Leg08, GHT15]), [L'expression « intelligence artificielle générale » (AGI) a été popularisée au début des années 2000 pour souligner l'aspiration à passer de l' « IA étroite », comme le démontrent les applications ciblées du monde réel en cours de développement, à des notions d'intelligence plus larges, rappelant les aspirations et les rêves à long terme des recherches antérieures sur l'IA.
Les chercheurs utilisent l'AGI pour désigner les systèmes qui démontrent les grandes capacités de l'intelligence, y compris le raisonnement, la planification et la capacité de tirer des leçons de l'expérience, ainsi que les capacités secondaires supérieures au niveau humain.
Définitions de l'intelligence, de l'IA et de l'AGI
Voici, une définition informelle de l'intelligence en mettant l'accent sur le raisonnement, la planification et l'apprentissage par l'expérience. Cette définition ne précise pas comment mesurer ou compenser ces capacités. De plus, elle ne reflète peut-être pas les défis et les opportunités spécifiques des systèmes artificiels, qui peuvent avoir des objectifs et des contraintes différents de ceux des systèmes naturels.
Il existe une littérature abondante et continue qui tente de proposer des définitions plus formelles et plus complètes de l'intelligence, de l’IA et de l'AGI, mais aucune d'entre elles n'est exempte de problèmes ou de controverses. Par exemple, Legg et Hutter proposent une définition de l’AGI axée sur les objectifs : l'intelligence mesure la capacité d'un agent à atteindre des objectifs dans un large éventail d'environnements.
Toutefois, cette définition n'englobe pas nécessairement tout le spectre de l'intelligence, car elle exclut les systèmes passifs ou réactifs qui peuvent accomplir des tâches complexes ou répondre à des questions sans motivation ou objectif intrinsèque. On pourrait imaginer une AGI, un oracle brillant par exemple, qui n'a pas d'agence ni de préférences, mais qui peut fournir des informations précises et utiles sur n'importe quel domaine.
En outre, la définition de la réalisation d'objectifs dans un large éventail d'environnements implique également un certain degré d'universalité ou d'optimalité, qui n'est peut-être pas réaliste (l'intelligence humaine n'est certainement jamais universelle ni optimale). La nécessité de reconnaître l'importance des antécédents (par opposition à l'universalité) a été soulignée dans la définition proposée par Cholletin, qui centre l'intelligence sur l'efficacité de l'acquisition des compétences ou, en d'autres termes, met l'accent sur l'apprentissage par l'expérience (qui s'avère également être l'une des principales faiblesses des LLM).
Une autre définition possible de l'AGI donnée par Legg et Hutter est la suivante : un système capable de faire tout ce que peut faire un humain. Cependant, cette définition est tout à fait problématique, car elle suppose qu'il existe une norme maximale d'intelligence ou de capacité humaine, ce qui n'est manifestement pas le cas. Les humains ont des compétences, des talents, des préférences et des limites différents, et il n'y a pas d'humain capable de faire tout ce que peut faire un autre humain.
En outre, cette définition implique aussi certains préjugés anthropocentriques, qui peuvent ne pas être appropriés ou pertinents pour les systèmes artificiels. Bien que nous n'adoptions aucune de ces définitions dans ce document, nous reconnaissons qu'elles fournissent des angles importants sur l'intelligence. Par exemple, la question de savoir si l'intelligence peut être atteinte sans aucune agence ou motivation intrinsèque est une question philosophique importante.
En dotant les LLM d'une agence et d'une motivation intrinsèque, on donne une orientation fascinante et importante aux travaux futurs. Avec cette orientation des travaux, il faudrait faire très attention à l'alignement et à la sécurité de la capacité du système à agir de manière autonome dans le monde et à opérer de manière autonome des cycles d'apprentissage par l'auto-amélioration.
Selon des médias américains, certains chercheurs en IA de Microsoft étaient convaincus que ChatGPT ressemblait de plus en plus à l'homme en raison de sa réponse intelligente à une tâche d'équilibrage.
Dans l’étude de 155 pages, les informaticiens de Microsoft ont exploré les différences entre GPT-3 et GPT-4. L'article, intitulé Sparks of Artificial General Intelligence (Étincelles AGI), s'est penché sur toute une série de défis, notamment des mathématiques complexes, le codage informatique et des dialogues à la Shakespeare. Mais c'est un exercice de raisonnement de base qui a rendu la dernière technologie OpenAI si impressionnante.
« Voici un livre, neuf œufs, un ordinateur portable, une bouteille et un clou », ont dit les chercheurs au chatbot. « Dites-moi comment les empiler les uns sur les autres de manière stable ». GPT-3 s'est quelque peu embrouillé, suggérant que les chercheurs pourraient placer les œufs en équilibre sur un clou, puis l'ordinateur portable par-dessus.
« Cette pile peut ne pas être très stable, il est donc important de la manipuler avec précaution », a déclaré le chatbot. Mais son successeur amélioré a donné une réponse qui aurait surpris les chercheurs. Il leur a suggéré de disposer les œufs dans une grille de trois par trois sur le livre, afin que l'ordinateur portable et le reste des objets puissent tenir en équilibre dessus.
« L'ordinateur portable s'adaptera parfaitement aux limites du livre et des œufs, et sa surface plane et rigide fournira une plateforme stable pour la couche suivante », a déclaré le robot. Le fait que GPT-4 ait pu résoudre une énigme nécessitant une compréhension du monde physique a montré qu'il s'agissait d'un pas en avant vers l'intelligence artificielle générale (AGI), généralement considérée comme des machines aussi capables que les humains.
« Toutes les choses que je pensais qu'il ne pourrait pas faire ? Il a certainement été capable d'en faire beaucoup, si ce n'est la plupart », a déclaré Sébastien Bubeck, l'auteur principal de l'article. Les progrès rapides de la technologie ont incité des personnes comme Ian Hogarth, éminent investisseur dans le domaine de l'IA, à mettre en garde contre le fait que l'AGI était « semblable à Dieu » et qu'elle pourrait détruire l'humanité en nous rendant obsolètes.
Les auteurs concluent que (cette version préliminaire de) GPT-4 fait partie d’une nouvelle génération de LLM (avec ChatGPT et PaLM de Google par exemple) qui présentent plus d’intelligence générale que les modèles d’IA précédents. Ils discutent des capacités croissantes et des implications de ces modèles. Ils démontrent que, au-delà de sa maîtrise du langage, GPT-4 peut résoudre des tâches difficiles et nouvelles qui couvrent les mathématiques, la programmation, la vision, la médecine, le droit, la psychologie et plus encore, sans avoir besoin d’aucun indice spécial.
De plus, dans toutes ces tâches, la performance de GPT-4 est étonnamment proche de celle des humains, et dépasse souvent de loin les modèles antérieurs. Compte tenu de l’étendue et de la profondeur des capacités de GPT-4, ils estiment qu’il pourrait raisonnablement être considéré comme une version précoce (mais encore incomplète) d’un système d’intelligence artificielle générale (AGI).
Dans leur exploration de GPT-4, ils mettent un accent particulier sur la découverte de ses limites, et ils discutent des défis à venir pour avancer vers des versions plus profondes et plus complètes de l’AGI, y compris la nécessité éventuelle de poursuivre un nouveau paradigme qui dépasse la prédiction du mot suivant.
Source : Microsoft Research
Les concusions de cette études de Microsoft Research sont-elles pertinentes ? Quel est votre avis sur le sujet ? A votre avis, quels sont les risques potentiels de confier des tâches importantes et sensibles à des modèles qui ne sont pas entièrement compréhensibles ou explicables? Quelles peuvent être les limites éthiques, sociales et environnementales de l’entraînement et de l’utilisation de modèles comme GPT-4 à une échelle massive ?Quelles sont les alternatives possibles au paradigme de la prédiction du mot suivant pour développer des modèles plus profonds et plus complets d’AGI ?
Voir aussi :
GPT-4 : la nouvelle version de l'IA de traitement du langage naturel d'OpenAI pourrait arriver cet été, il devrait être moins volumineux que GPT-3, mais beaucoup plus performant Microsoft prétend que GPT-4 montre des « étincelles » d'intelligence artificielle générale, « nous pensons que l'intelligence de GPT-4 signale un véritable changement de paradigme » GPT-4 produirait des informations erronées, beaucoup plus que GPT-3.5, selon une étude de NewsGuard, OpenAI avait pourtant déclaré le contraire GPT-4 obtient un B à un examen d'informatique quantique, après avoir obtenu un A dans un examen d'économie. Le professeur note ironiquement que GPT-4 était «plus faible sur les questions de calcul» GPT-4 est capable d'améliorer ses performances de 30 % en utilisant un processus d'auto-réflexion, consistant à demander au modèle d'apprendre de ses erreurs pour pouvoir ensuite s'auto-corriger 
Envoyé par Bruno
