« Pratiquement nul, un déchet » : le célèbre mathématicien Joel David Hamkins déclare que les modèles d'IA ne sont d'aucune utilité pour résoudre des problèmes mathématiques

« Pratiquement nul, un déchet » : le célèbre mathématicien Joel David Hamkins déclare que les modèles d'IA ne sont d'aucune utilité pour résoudre des problèmes mathématiques

Le célèbre mathématicien Joel David Hamkins a exprimé de sérieux doutes quant à l'utilité des modèles d'intelligence artificielle (IA) dans la recherche mathématique, qualifiant leurs résultats de « déchets » et de « mathématiquement incorrects ». Il souligne la tendance frustrante de l'IA à affirmer avec assurance des informations incorrectes et à résister à toute correction, reflétant ainsi les interactions humaines contre-productives. Malgré les succès remarquables de cette technologie, Hamkins estime que les systèmes actuels ne sont pas fiables pour une véritable collaboration en matière de recherche.

Ces critiques font écho à des travaux universitaires antérieurs ayant mis en lumière l’instabilité des performances des grands modèles de langage (LLM) dans le domaine des mathématiques. En 2023, des chercheurs de l'université Stanford et de l'université de Californie à Berkeley ont montré que les performances de ChatGPT peuvent considérablement chuter avec le temps, notamment sur des tâches de raisonnement mathématique de base, révélant ainsi un phénomène de dérive difficile à anticiper et à contrôler.

Joel David Hamkins est un mathématicien et philosophe américain qui occupe la chaire John Cardinal O'Hara de logique à l'université de Notre Dame. Il a apporté des contributions dans les domaines de la logique mathématique et philosophique, de la théorie des ensembles et de la philosophie de la théorie des ensembles (en particulier l'idée du multivers en théorie des ensembles), de la théorie de la calculabilité et de la théorie des groupes.


Joel David Hamkins a lancé une salve cinglante contre les grands modèles de langage utilisés dans la recherche mathématique. Il les qualifie de fondamentalement inutiles pour soutenir les travaux mathématiques, soulignant qu'ils fournissent « des réponses erronées qui ne sont pas mathématiquement correctes ».

S'exprimant dans le podcast Lex Fridman, Joel David Hamkins a fait part de sa frustration vis-à-vis des systèmes d'IA actuels, malgré avoir testé divers modèles payants. « Je m'en suis servi et j'ai essayé de faire des expériences, mais je ne l'ai pas trouvé utile du tout », a-t-il déclaré sans détour.

L'assurance erronée de l'IA reflète les interactions humaines frustrantes

Ce qui dérange le plus Joel David Hamkins, ce n'est pas tant les erreurs mathématiques occasionnelles que la façon dont les systèmes d'IA réagissent quand on les corrige. Lorsqu'il souligne des failles concrètes dans leur raisonnement, les modèles répondent avec des assurances énergiques telles que « Oh, tout va très bien ». Ce schéma – des réponses assurées mais incorrectes associées à une résistance à la correction – érode la confiance collaborative qui sous-tend le dialogue mathématique.

« Si je vivais une telle expérience avec une personne, je refuserais tout simplement de lui parler à nouveau », a expliqué Joel David Hamkins, soulignant que le comportement de l'IA s'apparente à des interactions humaines contre-productives qu'il éviterait.


Écart croissant entre les benchmarks d'IA et les applications de recherche dans le monde réel

La critique de Joel David Hamkins intervient alors que la communauté mathématique a une réaction mitigée quant aux capacités de l'IA.

Certains chercheurs ont annoncé des avancées décisives grâce à l'aide de l'IA pour résoudre des problèmes issus de la collection Erdos ; d'autres, comme le mathématicien Terrence Tao, mettent en garde contre le fait que l'IA produit des preuves d'apparence parfaite, mais contenant des erreurs subtiles qu'aucun examinateur humain ne laisserait passer.

L'évaluation révèle une tension critique : les performances impressionnantes obtenues aux tests standardisés ne se traduisent pas par une utilité pratique pour les experts du domaine. « En ce qui concerne le raisonnement mathématique, cela ne semble pas fiable », a conclu Joel David Hamkins.

Bien qu'il reconnaisse que les futurs systèmes d'IA pourraient s'améliorer, Joel David Hamkins reste sceptique quant aux capacités actuelles. Son expérience rappelle de manière saisissante que les investissements massifs des entreprises d'IA dans les capacités de raisonnement n'ont pas encore comblé le fossé entre les performances des benchmarks et le rôle de véritables partenaires de recherche pour les mathématiciens en activité.

Cette fragilité s'ajoute à des limites plus fondamentales identifiées par certaines recherches récentes. En 2024, une étude a conclu que les LLM auront toujours des hallucinations, car celles-ci découlent directement de leur structure mathématique et de leur logique fondamentale. Selon ses auteurs, ces hallucinations ne peuvent être totalement éliminées, pas même par des améliorations de l'architecture, des données ou des mécanismes de vérification. Les résultats de cette étude suggèrent ainsi que, malgré les avancées rapides de l'IA générative, certaines erreurs resteront inévitables, ce qui renforce les doutes quant à l'utilisation de ces systèmes comme outils fiables pour la recherche de haut niveau.

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous le point de vue de mathématicien Joel David Hamkins crédible ou pertinent ?

Voir aussi :

Un chercheur d'OpenAI a annoncé une avancée mathématique révolutionnaire pour GPT-5 qui n'a jamais eu lieu, et le PDG de Deepmind, Demis Hassabis, a qualifié cet épisode d'« embarrassant »

GPT-4 est passé de 98 % à 2 % de réponses exactes à un problème mathématique simple en l'espace de quelques mois, selon une étude qui révèle que les performances de ChatGPT et GPT-4 sont en déclin

Les principaux systèmes d'IA résolvent moins de 2 % des problèmes d'un nouveau test de référence en mathématiques avancées, ce qui révèle les limites importantes de leurs capacités de raisonnement