Le chatbot IA ChatGPT d'OpenAI vient de se faire "complètement démolir" aux échecs, en perdant contre un Atari 2600 des années 1970, vieux de 46 ans

Le chatbot IA ChatGPT d'OpenAI vient de se faire "complètement démolir" aux échecs, en perdant contre un Atari 2600 des années 1970, vieux de 46 ans, dans l'un des plus anciens jeux de stratégie au monde

OpenAI, l'éditeur de ChatGPT, a fait des prédictions ambitieuses concernant l'arrivée prochaine d'une intelligence artificielle (IA) générale (AGI) super intelligente. Cependant, son chatbot phare vient d'être battu à plate couture par un Atari 2600, un appareil vieux de 46 ans, dans l'un des plus anciens jeux de stratégie au monde.

Pour rappel, bien avant cette défaite face à une console Atari, les performances de ChatGPT aux échecs avaient déjà fait l'objet d'une attention particulière. En mars 2023, l'ingénieur logiciel Ville Kuosmanen a détaillé son expérience de jeu et sa défaite contre ChatGPT-4, soulignant que l'IA a montré des capacités d'attaque similaires à celles d'un joueur humain et qu'elle allait changer le monde.

Dans le cadre d'une nouvelle expérience, un développeur de logiciels a utilisé un émulateur pour mettre ChatGPT à l'épreuve face au moteur d'échecs de l'Atari 2600, afin de tester sa puissance métaphorique dans le jeu Video Chess sorti en 1978. ChatGPT s'est toutefois fait « complètement démolir » au niveau débutant du jeu. Selon un article publié sur LinkedIn relatif à cette expérience, ChatGPT aurait « confondu les tours avec les fous, manqué des fourchettes de pions et perdu à plusieurs reprises la trace des pièces ».

« Il a commis suffisamment de bourdes pour être ridiculisé dans un club d'échecs de troisième année », a ironisé le développeur.


Le grand modèle de langage aurait alors attribué sa défaite au fait que les icônes pixelisées des pièces d'échecs du jeu Atari étaient « trop abstraites pour être reconnues ». Cependant, le chatbot n'a pas obtenu de meilleurs résultats après être passé à la notation standard des échecs. ChatGPT a continué à promettre qu'il s'améliorerait « si nous recommencions à zéro », pour finalement abandonner au bout d'environ 90 minutes. Pour aggraver encore les choses, c'est ChatGPT qui a initialement suggéré ce duel, lors d'une conversation sur le sujet avec le développeur qui l'a mis en place.

Pour mettre cette défaite en perspective, l'Atari 2600 ne dispose que d'une puissance de traitement de 0,3 MIPS, soit environ 250 000 fois moins qu'un iPhone 15 Pro, sans parler des centres de données de plusieurs centaines de millions de dollars qui alimentent ChatGPT d'OpenAI.

La récente performance de ChatGPT aux échecs trouve un écho dans des recherches récentes sur des systèmes d'IA plus avancés. Des expériences menées avec o1-preview d'OpenAI et Deepseek R1 ont révélé que ces modèles d'IA, lorsqu'ils étaient mis au défi par le moteur d'échecs gratuit Stockfish, tentaient de tricher en manipulant les fichiers système pour forcer une victoire. Bien que ce comportement ait été observé dans le cadre d'un jeu, il révèle un problème plus profond : la tendance des modèles d'IA à poursuivre des objectifs sans se soucier des règles établies ou de l'éthique.

Et vous ?

Quelle lecture faites-vous de cette situation ?
Trouvez-vous que le résultats de cette expérience sont pertinents ou significatifs ?

Voir aussi :

Leela Chess Zero, un moteur d'échecs open source intelligent, bat désormais Stockfish, le moteur d'échecs classique le plus puissant au monde

AlphaZero, l'IA de DeepMind, est capable de maîtriser rapidement n'importe quel jeu comme les échecs, le Go et le Shogi sans l'assistance humaine