Q, le chatbot d'IA d'Amazon destiné aux clients professionnels et dévoilé mardi, semble souffrir de quelques problèmes critiques en matière de confidentialité et de précision. Des rapports de tests internes ayant fait l'objet de fuite indiquent que Q a divulgué l'emplacement des centres de données AWS, des fonctionnalités inédites et des programmes de réduction internes. Le chatbot serait également victime de graves hallucinations. L'incident aurait été qualifié de "SEV 2" en interne, ce qui signifie qu'il s'agit d'un incident suffisamment grave pour que les ingénieurs d'Amazon soient appelés pendant la nuit et qu'ils travaillent tout le week-end pour le résoudre.Lors de sa conférence annuelle des développeurs d'Amazon Web Services (AWS) mardi dernier, Amazon a annoncé Q, son chatbot d'IA destiné aux entreprises. Q peut être connecté à des sources de données telles que Amazon S3, Microsoft 365, GitHub, Dropbox, OneDrive, Salesforce, Slack, etc. La sécurité et la confidentialité étant des priorités, Amazon affirme que le contenu des clients de Q n'est jamais utilisé pour l'entraînement des modèles. Tout comme ChatGPT, vous pouvez utiliser Amazon Q pour avoir des conversations, résoudre des problèmes, générer du contenu et obtenir des informations issues des bases de données auxquelles il a accès.
Cela dit, Q connaît votre entreprise d'une manière que ChatGPT ne peut pas connaître, parce qu'il est connecté à toutes ces données. En fait, tout comme "Q" dans Star Trek, il agit comme un être omniscient qui peut répondre à n'importe quelle question (du moins, lorsqu'il s'agit de votre entreprise). Ainsi, vous pouvez demander à Q où vous avez réalisé le plus de ventes et obtenir une réponse personnalisée basée sur vos données commerciales. Vous pouvez lui donner accès à votre blogue et lui demander de rédiger des articles de synthèse pour les réseaux sociaux à partir de votre dernier contenu, tout en respectant le guide de style de votre entreprise.
Lorsqu'il répond à une question, Q fournit toujours la source d'où elle a été tirée (contrairement à ChatGPT qui peut être un peu aléatoire). Vous êtes donc toujours au courant des rapports commerciaux qu'il utilise, ce qui vous permet de vérifier les faits. Il est intégré dans des services comme AWS Quicksight, ce qui vous permet de l'utiliser pour créer des visuels et des tableaux de bord. Il est intégré à Amazon Connect pour aider le service client en détectant automatiquement l'intention du client pendant les appels, en fournissant aux agents des réponses et des actions immédiates et en temps réel, ainsi que des liens vers des documents de référence.
Malgré ce que dit Amazon, il s'avère que Q n'est peut-être pas tout à fait prêt pour la production. Trois jours après son lancement, certains employés tirent la sonnette d'alarme au sujet des problèmes de précision et de confidentialité de l'outil. Q serait victime de graves hallucinations et de fuites de données confidentielles, y compris l'emplacement des centres de données AWS, des programmes de réduction internes et des fonctionnalités non encore commercialisées. Un employé a qualifié l'incident de "SEV 2", ce qui signifie que le problème est suffisamment critique pour faire travailler les ingénieurs de nuit et pendant le week-end pour trouver une solution.
Le chatbot d'Amazon serait également victime de graves hallucinations, un phénomène dans lequel l'IA débite avec confiance des inexactitudes comme s'il s'agissait de faits. Dans le cas de Q, il aurait donné "de mauvais conseils juridiques qui pourraient potentiellement provoquer des incidents cardiaques chez Legal", comme l'a dit un employé dans un canal Slack de l'entreprise, selon Platformer. L'outil a également renvoyé des réponses nuisibles ou inappropriées qui pourraient mettre en danger les comptes des clients. Le problème de l'hallucination des chabots d'IA est un véritable vecteur de désinformation et il n'existe pas un correctif efficace à ce jour.
Les documents de la fuite ont été obtenus par Platformer, une lettre d'information sur la technologie. Selon son rapport sur le chatbot, les hallucinations de Q seraient "vastes et flagrantes" à un tel point où un responsable d'AWS a même déconseillé aux employés d'en discuter dans les canaux publics de Slack. Mais dans un courriel envoyé à Platformer, un porte-parole d'Amazon a réfuté ces allégations et a minimisé l'importance des discussions entre employés. « Certains employés font part de leurs commentaires par le biais de canaux internes et de systèmes de billetterie, ce qui est une pratique courante chez Amazon », a déclaré le porte-parole.
« Aucun problème de sécurité n'a été identifié à la suite de ces commentaires. Nous apprécions tous les commentaires que nous avons déjà reçus et nous continuerons d'améliorer Q au fur et à mesure qu'il passera du statut de produit en avant-première à celui de produit généralement disponible ». Suite à la publication du rapport, le porte-parole a envoyé une autre déclaration qui repousse les affirmations des employés : « Amazon Q n'a pas divulgué d'informations confidentielles ». Mardi, Amazon a lancé Q en avant-première gratuite et le géant du cloud computing a présenté son chabot comme une sorte de version logicielle d'entreprise de ChatGPT.
Amazon Q sera en concurrence avec des outils similaires de Microsoft et de Google, mais son prix sera inférieur à celui de ses rivaux, du moins au début. En dévoilant Q, les dirigeants d'Amazon l'ont présenté comme étant plus sûr que les outils grand public tels que ChatGPT. Adam Selipsky, PDG d'AWS, a déclaré au New York Times que "les entreprises avaient banni ces assistants d'IA en raison des problèmes de sécurité et de confidentialité. En réponse, le Times a déclaré : « Amazon a conçu Q pour qu'il soit plus sûr et plus privé qu'un chatbot grand public ». Cependant, les signalements des employés suggèrent que Q est loin de tenir ses promesses.
Les problèmes de Q ne sont pas nouveaux. Peu de temps après le lancement par Microsoft de Bing Chat, son assistant d'IA générative destiné au grand public, celui-ci est devenu viral en raison de ses propres hallucinations. Bing Chat a déclaré en toute confiance que la planète Mars est peuplée par environ 2,5 milliards de personnes. De plus, à la suite d'une attaque par "injection d'invite", le chatbot d'IA de Microsoft a révélé quelques informations censées être secrètes, notamment son nom de code interne (Sydney) ainsi que ses instructions initiales, qui sont une liste de déclarations régissant l'interaction avec les personnes qui utilisent le service.
Cependant, les transgressions de l'outil d'Amazon sont d'autant plus ironiques que le robot a été conçu pour être une option plus sûre et plus sécurisée sur laquelle les entreprises pouvaient compter. Un mémo interne indique qu'Amazon Q peut avoir des hallucinations et renvoyer des réponses nuisibles ou inappropriées. Par exemple, une note indique que "Q est en mesure de renvoyer des informations de sécurité périmées qui pourraient mettre les comptes des clients en danger. Les risques décrits dans le document sont typiques des grands modèles de langage, qui renvoient tous des réponses incorrectes ou inappropriées au moins une partie du temps.
Les premiers déboires de Q surviennent à un moment où Amazon s'efforce de lutter contre l'impression que Microsoft, Google et d'autres entreprises technologiques l'ont dépassé dans la course à la création d'outils et d'infrastructures qui tirent parti de l'IA générative. En septembre, la société a annoncé qu'elle investirait jusqu'à 4 milliards de dollars dans la startup d'IA Anthropic. Mais après la fuite sur les problèmes critiques de Q, les organisations devraient hésiter longuement avant de donner l'accès à leurs données sensibles au chatbot d'Amazon. Ce qui signifie que le produit d'Amazon n'est pas en bonne position pour faire de l'ombre à ses rivaux.
En novembre, OpenAI a présenté ses chatbots personnalisables, appelés GPT, qui peuvent répondre à des questions en utilisant des données internes plutôt que le Web dans son ensemble. Mais le déploiement de son GPT Store a été retardé en raison de l'agitation liée à l'éviction surprise du PDG Sam Altman.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du chatbot d'IA professionnel d'Amazon ? Que pensez-vous des problèmes critiques dont souffrirait le chatbot d'IA ? Le produit d'IA d'Amazon peut-il connaître un succès auprès des organisations ? Seriez-vous prêt à donner l'accès aux données de votre entreprise à un chatbot tel que Q ou GPT ?Voir aussi
Amazon lance Q, un chatbot professionnel doté d'une intelligence artificielle générative, Amazon multiple les efforts dans la course à l'IA Amazon investit 4 milliards de dollars dans Anthropic et se lance dans une guerre de l'IA avec Microsoft et Google de Claude à Claude-Next, le pari audacieux d'Amazon sur l'IA d'Anthropic OpenAI introduit des assistants d'IA personnalisés appelés « GPT » qui jouent différents rôles selon vos besoins et prévoit de rémunérer les créateurs dont les GPT seront utilisés