« J'ai joué aux échecs contre ChatGPT-4 et j'ai perdu, cet outil d'IA va changer le monde »,

Un récit de Ville Kuosmanen, Ingénieur logiciel

ChatGPT, le chatbot populaire d'OpenAI, aurait atteint les 100 millions d'utilisateurs actifs par mois en début d’année, deux mois seulement après son lancement, ce qui en fait l'application grand public à la croissance la plus rapide de l'histoire. Les chatbots IA sont devenus très populaires ces derniers temps, la précision de leurs réponses étant saluée comme le signe d'une industrie en progrès.

Si pour de nombreux experts du secteur de la technologie, ChatGPT pourrait changer à jamais le monde professionnel, il n’en est pas moins vrai que l’outil d’IA reste considéré « essentiellement comme un outil high-tech de plagiat », selon le célèbre penseur et chercheur intellectuel américain Noam Chomsky. Le 17 mars, Ville Kuosmanen, Ingénieur logiciel, a partagé son expérience sur ChatGPT dans un billet de blog. Pour le passionné d’informatique, « l’outil d’IA va changer le monde ».

« En décembre dernier, j'ai joué quelques parties d'échecs contre ChatGPT. Elles se sont toujours terminées de la même manière : ChatGPT jouait une ouverture précise, jusqu'à ce qu'il oublie où se trouvaient ses pièces et commence à jouer des coups illégaux, en toute confiance bien sûr. La vérité est que GPT-3 ne sait pas jouer aux échecs. Jouer une partie contre lui révèle sa véritable nature de perroquet stochastique qui se contente de produire une réponse crédible à partir de son jeu d'entraînement.

« ChatGPT ne peut pas (encore) jouer aux échecs à un niveau humain. Il est clairement conscient du jeu et capable de jouer avec précision les ouvertures principales. Mais dès que le jeu sort de la théorie, ChatGPT ne peut plus suivre. Cela montre que le modèle linguistique ne comprend pas (encore) les principes fondamentaux du jeu d'échecs, mais qu'il se contente de répéter les mouvements et les phrases qui se produisent couramment dans une partie d'échecs documentée », Ville Kuosmanen.


L'assurance de ChatGPT, combinée à son "contournement" des règles des échecs, est devenue une sorte de mème sur la partie d'échecs de l'internet, avec des messages Reddit qui ont fait la une des journaux et des vidéos YouTube qui ont été vues des millions de fois. Nous en avons ri. On s'en est moqué. Nous avons utilisé ses déficiences pour justifier la supériorité des humains sur les machines.

ChatGPT est un grand modèle de langage général (LLM) développé récemment par OpenAI, une société d'intelligence artificielle basée à San Francisco, connue pour son célèbre DALL-E, un modèle d'apprentissage profond qui génère des images à partir d'instructions textuelles appelées « prompts ».

Alors que la classe précédente de modèles d'intelligence artificielle était principalement constituée de modèles d'apprentissage profond (Deep Learning, DL), conçus pour apprendre et reconnaître des modèles dans les données, les LLM sont un nouveau type d'algorithme d'intelligence artificielle formé pour prédire la probabilité d'une séquence de mots donnée en fonction du contexte des mots qui la précèdent.

Ainsi, si les LLM sont formés sur des quantités suffisamment importantes de données textuelles, ils sont capables de générer de nouvelles séquences de mots jamais observées auparavant par le modèle, mais qui représentent des séquences plausibles basées sur le langage humain naturel.

ChatGPT est alimenté par GPT3.5, un LLM entraîné sur le modèle OpenAI 175B parameter foundation et un grand corpus de données textuelles provenant d'Internet via des méthodes d'apprentissage par renforcement et supervisé. Une utilisation anecdotique indique que ChatGPT présente des preuves de raisonnement déductif et de chaîne de pensée, ainsi que des compétences de dépendance à long terme.

Premier match contre GPT-4

Ville Kuosmanen dit avoir gagné des points de classement depuis décembre. Son classement Chess.com ELO actuel est de 1435, ce qui indique qu’il est un joueur intermédiaire. Bien que le GPT-4 soit présenté comme une amélioration significative par rapport au GPT-3, Ville Kuosmanen ne s'attendait pas à ce qu'il joue particulièrement bien. J'ai donc commencé une partie. Voici ce qui s'est passé.


Non seulement il a perdu, mais il a été expulsé de l'échiquier, mis en échec en 20 coups ! Il a essayé d'utiliser l'ouverture polonaise inhabituelle comme stratégie anti-GPT, car il y a beaucoup moins de parties jouées dans ces positions que dans les ouvertures populaires. Cela n'a pas semblé avoir d'importance : GPT-4 a bien géré la position et a profité de mes erreurs.

« Ce qui m'a le plus effrayé, c'est le style d'attaque du chatbot : il a sacrifié un fou pour ouvrir mon roi et lancer une attaque massive. Cette approche est très différente de celle des ordinateurs d'échecs traditionnels et ressemble davantage à une décision que pourrait prendre un joueur humain qui aime attaquer : ce n'est pas le meilleur coup d'après l'évaluation de l'ordinateur, mais il est difficile pour les humains de se défendre contre lui. »

Deuxième partie

Ville Kuosmanen a également utilisé l'ouverture polonaise pour une deuxième partie.


GPT-4 commence la partie avec une erreur très commune : 2... Nc6 conduit à ce que le cheval se fasse botter autour de l'échiquier et soit forcé de se mettre sur le chemin du fou noir. « Je vois ce coup tout le temps lorsque je joue contre des joueurs humains, mais je m'attendais à ce que GPT-4 ait vu suffisamment de parties pour jouer quelque chose de plus fort. Ou peut-être a-t-il joué ce coup parce qu'il est si courant ? », interroge-t-il.

Bien que Kuosmanen ait gagné un premier pion et finalement la partie, ce fut loin d'être facile. Au 27e coup, il a fait une erreur qui a conduit à un mat forcé en 2, mais ChatGPT l'a manquée. L'erreur a également été très humaine, se concentrant sur son attaque sur le cavalier plutôt que sur son faible roi. La partie s'est terminée après que ChatGPT a perdu sa tour et sa reine pour la même attaque qui aurait fonctionné quelques coups plus tôt. Probablement a-t-il oublié la tour blanche sur b1 ?

Dernière partie

Kuosmanen voulait aussi essayer une partie avec une ouverture populaire, et a donc commencé une avec d4.


Cette partie a conduit à une fin de partie de tour où ChatGPT avait une majorité de pions à l'aile roi. Kuosmanen espérait que GPT-4 commencerait à faiblir à ce stade de la partie, car le nombre de coups joués signifierait sûrement qu'il n'y a pas de parties similaires dans son jeu de données. Mais, à sa grande surprise, l’outil d’IA a joué une excellente fin de partie. Après qu’il eus faufilé sa tour jusqu'à la 8e rangée...