DeepMind, filiale d'Alphabet (la société mère de Google), a publié jeudi une étude dans laquelle il affirme que son IA dénommée AlphaCode peut égaler les performances d'un programmeur humain moyen. Le système de génération de code de DeepMind aurait été classé dans le top 54,3 % des réponses lors d'évaluations simulées de concours de programmation récents sur la plateforme Codeforces. Ce qui est une prouesse, selon la société. Toutefois, les experts pensent que les travailleurs de la filière n'ont pas de souci à se faire. Ils estiment qu'AlphaCode pourrait un jour aider les codeurs expérimentés, mais ne pourra probablement pas les remplacer.La génération de code est-elle la prochaine frontière des applications de l'IA ?
Les systèmes d'IA deviennent étonnamment habiles pour gagner des jeux de société (AlphaGo et Deep Blue) et créer des œuvres d'art (Stable Diffusion), mais qu'en est-il de la création de logiciels ? La dernière expérience de DeepMind laisse entrevoir une nouvelle frontière dans les applications de l'IA. Microsoft explore également cette frontière avec un programme de suggestion de code appelé Copilot, proposé sur GitHub. Amazon dispose d'un outil logiciel similaire, appelé CodeWhisperer. Ces systèmes de génération de code n'aspirent pas forcément à remplacer les programmeurs humains, mais l'on est quand même tenté de poser la question.
« Les performances qu'ils sont capables d'atteindre sur des problèmes assez difficiles sont très impressionnantes », déclare Armando Solar-Lezama, chef du groupe de programmation assistée par ordinateur au Massachusetts Institute of Technology (MIT). AlphaCode va au-delà du précédent porte-étendard de l'écriture de codes d'IA : Codex, un système publié en 2021 par OpenAI. Ce laboratoire avait déjà mis au point GPT-3, un modèle de langage étendu capable d'imiter et d'interpréter du texte en langage naturel après avoir été entraîné sur des milliards de mots provenant de livres numériques, d'articles de Wikipédia et d'autres sources.
En affinant GPT-3 sur plus de 100 gigaoctets de code provenant de Github, OpenAI a créé Codex. Le logiciel peut écrire du code lorsqu'on lui demande une description courante de ce qu'il est censé faire, par exemple compter les voyelles dans une chaîne de texte. Mais ses performances sont médiocres lorsqu'il s'agit de résoudre des problèmes délicats. Les créateurs d'AlphaCode se sont concentrés sur la résolution de ces problèmes difficiles. Pour cela, ils ont d'abord alimenté un grand modèle de langage avec plusieurs gigaoctets de code provenant de GitHub, afin de le familiariser avec la syntaxe et les conventions de codage.
Ils l'ont ensuite entraîné à traduire des descriptions de problèmes en code, en utilisant des milliers de problèmes collectés lors de concours de programmation. À titre d'exemple, un problème peut demander à un programme de déterminer le nombre de chaînes binaires de longueur "n" qui n'ont pas de zéros consécutifs. Lorsqu'on lui soumet un nouveau problème, AlphaCode génère des solutions de code candidates (en Python ou en C++) et élimine les mauvaises. Auparavant, les modèles tels que Codex généraient des dizaines ou des centaines de solutions candidates, mais DeepMind a demandé à AlphaCode d'en générer jusqu'à plus d'un million.
Pour les filtrer, AlphaCode ne garde d'abord que les 1 % de programmes qui passent les tests accompagnant les problèmes. Pour réduire encore le champ, il regroupe les programmes conservés en fonction de la similarité de leurs résultats avec les entrées inventées. Ensuite, il soumet des programmes de chaque groupe, un par un, en commençant par le plus grand groupe, jusqu'à ce qu'il tombe sur un programme réussi ou qu'il atteigne 10 soumissions (le maximum que les humains soumettent dans les concours). Le fait de soumettre des codes provenant de différents clusters lui permet de tester un large éventail de tactiques de programmation.
Selon Kevin Ellis, informaticien à l'université Cornell qui travaille sur le codage IA, c'est l'étape la plus innovante du processus d'AlphaCode. DeepMind a rapporté cette semaine qu'AlphaCode a résolu environ 34 % des problèmes qui lui ont été assignés. (Sur des repères similaires, Codex aurait atteint un pourcentage de réussite à un chiffre). « C'est un rappel spectaculaire qu'OpenAI et Microsoft n'ont pas le monopole des exploits des grands modèles de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
