Une entreprise s'excuse après une hallucination de son agent d'assistance IA qui a provoqué un tollé chez les utilisateurs

Et qui rappelle la nécessité pour les développeurs de vérifier les productions de l'IA

Une entreprise s'excuse après une hallucination de son agent d'assistance IA qui a provoqué un tollé chez les utilisateurs
Et qui rappelle la nécessité pour les développeurs de vérifier les productions de l’IA

Un développeur utilisant le célèbre éditeur de code Cursor, animé par l'IA, a remarqué quelque chose d'étrange : En passant d'une machine à l'autre, la session Cursor était instantanément interrompue, rompant ainsi un flux de travail courant pour les programmeurs qui utilisent plusieurs appareils. Lorsque ce dernier a contacté le service d'assistance de Cursor, un agent nommé « Sam » lui a dit qu'il s'agissait d'un comportement attendu dans le cadre d’une nouvelle condition d'utilisation. Sam, l'agent d'assistance IA, l'a inventée, ce qui a déclenché une vague de plaintes relayées sur les réseaux sociaux. Le tableau rappelle la nécessité pour les développeurs de vérifier les productions de l’intelligence artificielle.

Il s'agit du dernier exemple en date d'hallucinations de l’intelligence artificielle susceptibles de nuire aux entreprises. Les hallucinations sont un type de réponse dans lesquelles les modèles d'IA inventent des informations plausibles mais fausses. Au lieu d'admettre l'incertitude, les modèles d'IA donnent souvent la priorité à la création de réponses plausibles et sûres, même si cela implique de fabriquer des informations à partir de rien.

Pour les entreprises qui déploient ces systèmes dans des rôles en contact avec la clientèle sans surveillance humaine, les conséquences peuvent être immédiates et coûteuses comme en témoignent les réactions des utilisateurs dans ce cas et dans d’autres similaires.


Air Canada dans l'obligation de respecter une politique de remboursement inventée par un chatbot intégré à son site web

Le jour où la grand-mère de Jake Moffatt est décédée, ce dernier s'est à l’immédiat rendu sur le site Web d'Air Canada pour réserver un vol de Vancouver à Toronto. Ne sachant pas comment fonctionnent les tarifs d'Air Canada pour les personnes en deuil, Moffatt a demandé au chatbot d'Air Canada de lui expliquer. Ce dernier a fourni des informations inexactes, encourageant Jake Moffatt à réserver un vol à l’immédiat, puis à demander un remboursement dans les 90 jours. Une recommandation en contradiction avec la politique de la compagnie aérienne qui stipule qu’elle ne procède pas à des remboursements une fois que la réservation est effectuée.

Jake Moffatt a donc porté plainte en joignant une capture d’écran de sa conversation avec le chatbot : « Si vous devez voyager à l’immédiat ou si vous avez déjà voyagé et que vous souhaitez soumettre votre billet pour bénéficier d'un tarif réduit pour les personnes en deuil, veuillez le faire dans les 90 jours suivant la date d'émission de votre billet en remplissant notre formulaire de demande de remboursement de billet. »

Le tribunal a au final tranché que M. Moffatt a droit à un remboursement partiel de 650,88 dollars canadiens (environ 482 USD) sur le prix initial du billet qui était de 1 640,36 CAD (environ 1 216 USD), ainsi qu'à des dommages-intérêts supplémentaires pour couvrir les intérêts sur le billet d'avion et les frais de justice de M. Moffatt.

Air Canada a décidé de se conformer à la décision et de considérer l'affaire comme close après avoir refusé d’endosser la responsabilité de l’erreur commise par le chatbot intégré à son site web. La compagnie aérienne a ensuite procédé à la désactivation de ce dernier.


Des exemples de plus pour prouver que l’intelligence artificielle demeure un outil (et non une menace) pour les travailleurs formés au développement de systèmes informatiques ?

Ces cas interviennent dans le contexte de la publication de prédictions pour les années à venir. Bill Gates a rendu les siennes publiques au terme de l’année 2024. Un sujet central : l’impact de l’intelligence artificielle sur la société. Deux mots clés dès l’entame de son propos : outil et innovation. Et donc sa vision du futur en une phrase : « Les humains ne perdront pas le contrôle de l’intelligence artificielle. Elle leur servira plutôt d’outil pour améliorer leur productivité et leur capacité à innover. »
Les intelligences artificielles sont des outils dont il faut faire usage avec des « pincettes » comme le confirme Google en soulignant que « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. »

Le CEO de GitHub s’est voulu précis sur la question en indiquant que ce n’est qu’une question de temps avant que l’intelligence artificielle Copilot n’écrive 80 % du code informatique. Sa sortie de nature à être interprétée comme une annonce de la possible disparition du métier de développeur s’est avérée être une occasion de faire un recadrage : « Cela ne veut pas dire que le développeur sera mis de côté. Le développeur reste l'expert, qui comprend le code et vérifie que ce qui a été synthétisé par l'IA correspond bien à l'intention du développeur. »

« De nos jours, les développeurs ne passent pas la majeure partie de leur temps à coder - entre deux et quatre heures par jour sont consacrées à l'écriture du code. Le reste de la journée, ils font d'autres choses, comme des réunions, des rapports de crash. Avec Copilot, si vous ne disposez que de deux à quatre heures par jour pour coder, vous pouvez mieux utiliser ce temps. Vous pouvez utiliser ce temps pour rester dans le flux, pour faire le travail et prendre plaisir à le faire », ajoute-t-il pour ce qui est de la charge de travail journalière.

Et vous ?

Avez-vous déjà mis à contribution l’un des grands LLM disponibles pour vos projets de développement web ? Quels sont les avantages et les inconvénients ? Partagez vos anecdotes
Quelles évolutions du métier de développeur entrevoyez-vous au vu de l'adoption de l'intelligence artificielle dans la filière ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur