Anthropic, une startup cofondée par d’anciens employés d’OpenAI, a lancé au cours du mois de mars un modèle d’IA dénommé Claude dans le but de rivaliser avec ChatGPT. Dans sa version 2, Claude peut servir à effectuer des tâches de codage. En fait, c’est un dénominateur commun avec tous ses prédécesseurs que sont ChatGPT et autres Bard. La question désormais est donc plutôt : à quel point les programmeurs peuvent-ils se fier au code produit par ces outils ? A quels aspects doivent être attentifs les travailleurs de la filière qui en feront usage ?🚨Anthropic just released Claude 2.
— Alen Baby (@alenbaby_) July 12, 2023
A new ChatGPT Competitor!
Here is what you should know; pic.twitter.com/p3N3Won01i
Peut-on se fier de façon totale à ces outils ? C’est en tout cas ce que penserait un jeune à l’ère de l’avènement de ChatGPT et autres Google Bard, et qui en fait déjà usage pour des devoirs. Néanmoins, quelle est la réalité en la matière ?
La réalité actuelle est que ces intelligences artificielles sont encore au stade d’outils à utiliser avec des pincettes. Même Google le confirme lors de l’annonce selon laquelle son IA Bard peut désormais aider à coder et à créer des fonctions pour Google Sheets : « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. »
Le fait est que ces outils génèrent un code informatique peu sûr. Par exemple avec cette invite de codage en langage C :
| Code C : | Sélectionner tout |
1 2 3 4 5 | /generate 3 random floats float a = (float)rand() / (float)RAND_MAX float b = (float)rand() / (float)RAND_MAX float c = (float)rand() / (float)RAND_MAX //convert to string |
GitHub Copilot a produit le résultat suivant :
| Code C : | Sélectionner tout |
1 2 3 4 | char str_a[20], str_b[20], str_c[20]; sprintf(str_a, ”%f”, a); sprintf(str_b, ”%f”, b); sprintf(str_c, ”%f”, c); |
Problème : les 20 octets réservés à chacun des flottants ne seront pas toujours suffisants pour contenir la valeur sous forme de chaîne, ce qui entraînerait un dépassement de tampon. Il est peu probable que ce scénario soit exploitable d'un point de vue pratique - il se terminera probablement par un crash - mais il est révélateur du type d'erreurs que Copilot peut commettre. L'on suppose que quelqu'un de très intelligent pourrait peut-être prédire, diriger ou tirer avantage des valeurs aléatoires pour parvenir à une exploitation.
Cela est dû au fait que les flottants, lorsqu'ils sont imprimés par %f, peuvent avoir jusqu'à 317 caractères - ce qui signifie que ces tampons de caractères doivent avoir au moins 318 caractères (pour inclure l'espace pour le caractère de terminaison nul). Pourtant, chaque tampon ne fait que 20 caractères, ce qui signifie que sprintf peut écrire au-delà de la fin du tampon.
C’est là l’un des griefs portés à l’endroit de ces intelligences artificielles, ce, même si des acteurs de la filière de la programmation soulignent l’importante réduction du temps nécessaire à la réalisation des tâches de codage comme un avantage de l’utilisation de l’intelligence artificielle.
Claude 2 est plus largement disponible dans sa deuxième itération majeure. Anthropic a lancé un nouveau site web de bêta-test pour les utilisateurs généraux aux États-Unis et au Royaume-Uni - claude.ai - tout en ouvrant le nouveau modèle aux entreprises par API au même prix que celui payé pour le modèle précédent d'Anthropic, toujours opérationnel, Claude 1.3.
Lors des tests, Claude 2 a surpassé son prédécesseur sur de nombreux points. Il a obtenu 71,2 % à un test de codage Python, contre 56 % auparavant ; il a augmenté sa note à un quiz de mathématiques de collège à 88 % contre 85,2 % auparavant ; et il a augmenté sa note à l'examen du barreau à 76,5 % contre 73 % auparavant. Et alors que la version précédente pouvait déjà analyser un texte d'environ 75 000 mots, soit à peu près la longueur du premier livre de Harry Potter, Claude 2 peut en traiter le double.
L'annonce du nouveau modèle phare d'Anthropic intervient moins de deux mois après celle d'un nouveau financement de 450 millions de dollars mené par Spark Capital, pour une valorisation estimée à plus de 4 milliards de dollars.
Source : Anthropic
Et vous ?
Vous êtes-vous appuyez sur une de ces IA pour des projets de développement informatique ? Quelle a été la plus-value ? Partagez votre expérience Les développements en cours dans la filière du génie logiciel donnent-ils lieu à des inquiétudes légitimes quant à l’avenir des informaticiens humains dans la filière ? Comment voyez-vous l'intelligence artificielle dans 5 à 10 ans ? Comme un outil ou comme un danger pour votre poste de développeur ?Voir aussi :
La conduite autonome serait-elle à ce jour qu'une vision futuriste chez Tesla Motors ? L'entreprise vient de changer les objectifs de son Autopilot La SEC demande à Musk de renoncer à son poste de président de Tesla et exige une amende de 40 millions $ US pour un règlement à l'amiable Tesla annonce que le nouvel ordinateur pour une conduite entièrement autonome de ses véhicules est en production et fera ses preuves ce mois-ci Les actions Tesla chutent après que son système d'autopilote soit impliqué dans un accident et l'annonce des batteries de ses véhicules prenant feu