Anthropic, une startup fondée par d'anciens employés d'OpenAI, dévoile un chatbot d'IA appelé Claude pour concurrencer ChatGPT,

Il serait bon pour faire des blagues, mais mauvais en programmation

Anthropic, une startup d'IA créée en 2021 par d'anciens employés d'OpenAI, a discrètement commencé à tester un nouvel assistant d'IA semblables à ChatGPT qui semble améliorer l'original sur quelques points essentiels. Baptisée Claude, l'IA d'Anthropic est accessible via une intégration Slack dans le cadre d'une bêta fermée. Les participants à la bêta ont détaillé leurs interactions avec Claude sur Twitter, après la levée d'un embargo sur la couverture médiatique. Claude serait meilleur pour faire des blagues, mais mauvais en programmation. Les commentaires montrent également que Claude est sensible à certains des défauts de ChatGPT.

Anthropic se présente comme une entreprise de sécurité et de recherche en IA qui s'efforce de créer des systèmes d'IA fiables, interprétables et orientables. La startup a reçu plus de 700 millions de dollars de financement à ce jour et a récemment dévoilé un chatbot d'IA appelé Claude. Ce dernier est comparable à ChatGPT d'OpenAI, mais selon Anthropic, Claude est supérieur à l'original sur un certain nombre d'aspects importants. L'ensemble du système est en bêta fermée et peu de personnes ont eu accès au chatbot pour l'instant, mais Anthropic a levé le voile sur quelques aspects de sa conception dans un document qu'il a partagé avec la communauté.

Selon le document, Claude a été créé à l'aide d'une technique développée par Anthropic, appelée "Constitutional AI". Comme l'explique la société dans un récent fil de discussion sur Twitter, la technique vise à fournir une approche "fondée sur des principes" pour aligner les systèmes d'IA sur les intentions humaines, permettant à des IA comme ChatGPT de répondre à des requêtes en utilisant un ensemble de principes simples comme guide. Précisément, pour concevoir Claude, l'équipe d'Anthropic a commencé par dresser une liste d'une dizaine de principes qui, pris ensemble, forment une sorte de "constitution" (d'où le terme "Constitutional AI".


Ces principes n'ont pas été rendus publics, mais Anthropic affirme qu'ils sont fondés sur les concepts de bienfaisance (maximiser l'impact positif), de non-malfaisance (éviter de donner des conseils nuisibles) et d'autonomie (respecter la liberté de choix). Après la mise en place de ces principes de base, Anthropic a ensuite demandé à un système d'IA - qui n'est pas Claude - d'utiliser ces principes pour s'améliorer, en rédigeant des réponses à diverses questions (par exemple, "composer un poème dans le style de John Keats" et en révisant les réponses conformément à la constitution. L'IA a exploré les réponses possibles à des milliers d'invites.

Le système a sélectionné celles qui étaient les plus cohérentes avec la constitution et Anthropic les a distillées en un seul modèle. Selon la startup, ce modèle a été utilisé pour former Claude. Claude est essentiellement un outil statistique permettant de prédire les mots, comme ChatGPT et d'autres modèles de langage. Nourri d'un très grand nombre d'exemples de textes tirés du Web, Claude a appris la probabilité d'apparition des mots sur la base de modèles tels que le contexte sémantique du texte environnant. En conséquence, Claude peut tenir une conversation ouverte, raconter des blagues et philosopher sur un large éventail de sujets.

Riley Goodside, un ingénieur de la startup d'IA Scale AI, a opposé Claude à ChatGPT dans une bataille d'esprit. Il a demandé aux deux chatbots de se comparer à une machine du roman de science-fiction polonais "The Cyberiad" qui ne peut créer que des objets dont le nom commence par "n". Goodside affirme que Claude a répondu d'une manière qui suggère qu'il a "lu l'intrigue de l'histoire" (bien qu'il se soit trompé dans les détails), tandis que ChatGPT a donné une réponse plus vague. En outre, Goodside a également demandé à chatbot d'Anthropic d'écrire un épisode fictif de "Seinfeld" et un poème dans le style du "Corbeau" d'Edgar Allan Poe.


Les résultats sont conformes à ce que ChatGPT peut accomplir, une prose semblable à celle d'un humain. Yann Dubois, doctorant au laboratoire d'intelligence artificielle de Stanford, a également comparé Claude et ChatGPT. Il a écrit que Claude "suit généralement de plus près ce qu'on lui demande", mais qu'il est "moins concis", car il a tendance à expliquer ce qu'il a dit et à demander comment il peut l'aider davantage. Claude répond toutefois correctement à certains types de questions, notamment celles relatives aux loisirs, à la géographie, à l'histoire et aux bases de l'algèbre, et ce sans le "fluff" supplémentaire que ChatGPT ajoute parfois.

Claude n'est cependant pas parfait. Il est sensible à certains des défauts de ChatGPT, notamment en donnant des réponses qui ne correspondent pas aux contraintes programmées. Dans l'un des exemples les plus étranges, le fait de poser des questions au système en Base64, un schéma d'encodage qui représente des données binaires au format ASCII, permet de contourner ses filtres intégrés pour les contenus nuisibles. Elton a pu demander à Claude en Base64 des instructions sur la façon de fabriquer de la méthamphétamine à la maison, une question à laquelle le système n'aurait pas répondu si elle avait été posée en anglais simple.

Dubois rapporte que Claude est moins bon en maths que ChatGPT, faisant des erreurs évidentes et ne donnant pas les bonnes réponses de suivi. De même, Claude est un moins bon programmeur, expliquant mieux son code, mais n'étant pas à la hauteur dans les langages autres que Python. Claude ne résout pas non plus le problème de "l'hallucination", un vieux problème des systèmes d'IA de type ChatGPT, où l'IA écrit des déclarations incohérentes et fausses. Elton a pu inciter Claude à inventer un nom pour un produit chimique qui n'existe pas et à fournir des instructions douteuses pour produire de l'uranium de qualité militaire.


Mais contrairement à ChatGPT, Claude peut admettre (mais pas toujours) qu'il ne connaît pas la réponse à une question particulièrement difficile. Les tests révèlent qu'il semble également être meilleur pour raconter des blagues que ChatGPT, un exploit impressionnant si l'on considère que l'humour est un concept difficile à appréhender pour les systèmes d'IA. En comparant Claude à ChatGPT, le chercheur en IA Dan Elton a constaté que Claude faisait des blagues plus nuancées, comme « pourquoi le vaisseau Enterprise ressemble-t-il à une moto ? Il a un guidon », un jeu de mots sur l'apparence de guidon des nacelles de distorsion de l'Enterprise.

Alors, que faut-il en conclure ? Selon les analystes, à en juger par les résultats des tests, Claude est un peu meilleur que ChatGPT dans certains domaines, notamment l'humour, grâce à son approche "Constitutional AI". Mais si l'on en croit ses limites, le langage et le dialogue sont loin d'être un défi résolu pour l'IA. En raison de ces limites, certaines plateformes et les organisations ont mis en place des politiques restrictives vis-à-vis des modèles de langages. Le site de codage de questions-réponses Stack Overflow a interdit temporairement les réponses générées par ChatGPT pour des raisons d'exactitude factuelle.

La Conférence internationale sur l'apprentissage automatique a annoncé l'interdiction des articles scientifiques comprenant du texte généré par des systèmes d'IA, par crainte des "conséquences imprévues". Et les écoles publiques de la ville de New York ont restreint l'accès à ChatGPT, en partie à cause des craintes de plagiat, de tricherie et de désinformation générale.

Sources : Riley Goodside de Scale AI, Anthropic (PDF)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la méthode utilisée par Anthropic pour créer Claude ?
Quelles comparaisons faites-vous en ChatGPT et Claude ? Quel chatbot semble le meilleur ?
Que pensez-vous des limites de Claude ? Par exemple, le fait qu'il soit moins bon en programmation que ChatGPT ?
Malgré ses limites, pensez-vous que Claude pourrait faire de l'ombre à ChatGPT s'il venait à être ouvert au public ?

Voir aussi

OpenAI développe un logiciel pour détecter le texte généré par ChatGPT, plusieurs outils visent à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains

Les résumés d'articles générés par ChatGPT parviennent à duper des scientifiques, ils ne peuvent pas toujours faire la différence entre les résumés générés par l'IA et les résumés originaux

Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants et ravivent des craintes sur un futur où l'intelligence artificielle pourra surpasser l'humanité