Transformer un chatbot en une activité viable va être un défi : Google dispose depuis sept ans d'une interface de recherche de chat, Google Assistant, et la plus grande société de publicité au monde n'a pas encore été en mesure de la monétiser. Un nouveau rapport souligne un autre problème financier lié à la génération d'une session de chat pour chaque recherche : cela coûtera beaucoup plus cher à exécuter par rapport à un moteur de recherche traditionnel.La capacité de ChatGPT à proposer une réponse concise et fidèle à une question pourrait faire gagner aux utilisateurs le temps qu'ils passent généralement à parcourir les liens sur Google pour trouver la même information. D'ailleurs, Microsoft a intégré une version améliorée de ChatGPT à certains de ses produits à l'instar de Teams ou de Bing, pour avoir une plus-value sur la concurrence.
Pour ne pas être en reste, Google a accéléré son travail sur Apprentice Bard, l'une de ses réponses à ChatGPT.
Toutefois, le chatbot n'a pas pris un bon départ, les experts notant que Bard a fait une erreur factuelle dans sa toute première démo.
Un GIF partagé par Google montre Bard répondant à la question : « De quelles nouvelles découvertes du télescope spatial James Webb puis-je parler à mon enfant de 9 ans ? » Bard propose une liste à puces de trois éléments, parmi lesquels un élément indiquant que le télescope « a pris les toutes premières images d'une planète en dehors de notre propre système solaire ».
Cependant, un certain nombre d'astronomes sur Twitter ont souligné que c'était incorrect et que la première image d'une exoplanète avait été prise en 2004 - comme indiqué sur le site Web de la NASA : « Ce n'est pas pour faire mon connard (en fait, si finalement) et je suis sûr que Bard sera impressionnant, mais pour mémoire : JWST n'a pas pris "la toute première image d'une planète en dehors de notre système solaire" », a tweeté l'astrophysicien Grant Tremblay.
La réaction a été sans appel : le cours de l'action de Google avait baissé d'environ 7,4 %, entraînant la diminution de la capitalisation boursière d'environ 140 milliards de dollars. Concernant la baisse du cours de l'action Alphabet, Dennis Dick, fondateur et marché analyste de structure chez Triple D Trading a déclaré : « Ils punissent sévèrement l'action d'Alphabet pour cela, ce qui est justifié, car évidemment tout le monde est assez excité de voir comment Google va contrer Microsoft qui a sorti un produit assez décent ».
L'intégration par Microsoft des modèles de langage super médiatisés d'OpenAI dans le moteur de recherche Bing et le navigateur Web Edge a déclenché une course aux armements. Microsoft veut ronger le monopole de recherche sur le Web de Google en proposant un meilleur moteur de recherche qui utilise ChatGPT d'OpenAI pour répondre aux requêtes de manière conversationnelle avec un langage naturel plutôt que de simples listes de liens vers des pages Web pertinentes.
L'idée étant que le bot est formé sur de nouveaux snapshots du Web, et que les demandes de recherche sur le Web des internautes reçoivent automatiquement une réponse du bot avec des résumés d'informations extraites d'Internet.
« Cela souligne l'importance d'un processus de test rigoureux, quelque chose que nous lançons cette semaine avec notre programme Trusted Tester », a déclaré un porte-parole de Google dans un communiqué. « Nous combinerons les commentaires externes avec nos propres tests internes pour nous assurer que les réponses de Bard atteignent un niveau élevé de qualité, de sécurité et d'ancrage dans les informations du monde réel ».
Au-delà de la difficulté technique, le coût intervient
Tandis qu'Alphabet a vu une erreur de son chatbot contribuer à effacer 140 milliards de dollars de sa valeur marchande, un autre défi émerge de ses efforts pour ajouter l'intelligence artificielle générative à sa populaire recherche Google : le coût.
Les dirigeants du secteur technologique discutent de la manière d'exploiter l'IA comme ChatGPT tout en tenant compte des dépenses élevées. Le chatbot extrêmement populaire d'OpenAI, qui peut rédiger de la prose et répondre à des requêtes de recherche, a des coûts informatiques « exaspérants » de quelques centimes ou plus par conversation, a déclaré le directeur général de la startup, Sam Altman, sur Twitter.
Aujourd'hui, la recherche Google fonctionne en créant un énorme index du Web, et lorsque vous recherchez quelque chose, ces entrées d'index sont analysées, triées et classées, les entrées les plus pertinentes apparaissant plus haut dans vos résultats de recherche. La page de résultats de Google vous indique en fait combien de temps tout cela prend lorsque vous recherchez quelque chose, et c'est généralement moins d'une seconde. Un moteur de recherche de type ChatGPT impliquerait de lancer un énorme réseau de neurones modélisé sur le cerveau humain chaque fois que vous lancez une recherche, générant un tas de texte et probablement aussi interrogeant ce grand index de recherche pour des informations factuelles. La nature va-et-vient de ChatGPT signifie également que vous interagirez probablement avec lui pendant beaucoup plus longtemps qu'une fraction de seconde.
Tout ce traitement supplémentaire coûtera beaucoup plus cher. Après avoir parlé au président d'Alphabet, John Hennessy (Alphabet est la société mère de Google) et à plusieurs analystes, Reuters écrit « qu'un échange avec l'IA connu comme un grand modèle de langage coûte probablement 10 fois plus qu'une recherche par mot-clef standard » et qu'il pourrait représenter « plusieurs milliards de dollars de surcoûts ».
Ce qui rend cette forme d'IA plus coûteuse que la recherche conventionnelle, c'est la puissance de calcul impliquée. Une telle IA dépend de milliards de dollars de puces, un coût qui doit être étalé sur leur durée de vie utile de plusieurs années, ont déclaré les analystes. L'électricité ajoute également des coûts et de la pression aux entreprises ayant des objectifs d'empreinte carbone. Le processus de traitement des requêtes de recherche alimentées par l'IA est connu sous le nom « d'inférence », dans lequel un « réseau de neurones » vaguement modélisé sur la biologie du cerveau humain déduit la réponse à une question d'une formation antérieure.
Hennessy a déclaré à Reuters : « Ce sont les coûts d'inférence que vous devez réduire », appelant cela « un problème de quelques années au pire ».
Le nombre exact de milliards sur les 60 milliards de dollars de revenu net annuel de Google qui seront aspirés par un chatbot fait l'objet d'un débat. Une estimation du rapport de Reuters provient de Morgan Stanley, qui table sur une augmentation annuelle des coûts de 6 milliards de dollars pour Google si une « IA de type ChatGPT devait traiter la moitié des requêtes qu'elle reçoit avec des réponses de 50 mots ».
D'autres sont arrivés à une facture similaire, mais de différentes manières. Par exemple, SemiAnalysis, une société de recherche et de conseil axée sur la technologie des puces, a déclaré que l'ajout d'une IA de type ChatGPT à la recherche pourrait coûter 3 milliards de dollars à Alphabet, un montant limité par les puces internes de Google appelées Tensor Processing Units, ou TPU, ainsi que d'autres optimisations.
Google a laissé entendre que le temps du serveur était un problème dans son message initial sur son chatbot "Bard", affirmant qu'il commencerait par une « version modèle légère » du modèle linguistique de Google, et que « ce modèle beaucoup plus petit nécessite beaucoup moins de puissance de calcul, nous permettant pour s'adapter à plus d'utilisateurs, ce qui permet d'avoir plus de retours ».
Envoyé par Sundar Pichai
Nous avons travaillé sur un service d'IA conversationnel expérimental, propulsé par LaMDA, que nous appelons Bard. Et aujourd'hui, nous franchissons une nouvelle étape en l'ouvrant à des testeurs de confiance avant de le rendre plus largement accessible au public dans les semaines à venir.
Bard cherche à combiner l'étendue des connaissances du monde avec la puissance, l'intelligence et la créativité de nos grands modèles linguistiques. Il s'appuie sur les informations du Web pour fournir des réponses fraîches et de haute qualité. Bard peut être un exutoire pour la créativité et une rampe de lancement pour la curiosité, vous aidant à expliquer les nouvelles découvertes du télescope spatial James Webb de la NASA à un enfant de 9 ans, ou à en savoir plus sur les meilleurs attaquants du football en ce moment, puis obtenir des exercices pour développer vos compétences.
Nous le publions initialement avec notre version modèle allégée de LaMDA. Ce modèle beaucoup plus petit nécessite beaucoup moins de puissance de calcul, ce qui nous permet de nous adapter à un plus grand nombre d'utilisateurs, ce qui permet davantage de retours. Nous combinerons les commentaires externes avec nos propres tests internes pour nous assurer que les réponses de Bard atteignent un niveau élevé de qualité, de sécurité et d'ancrage dans les informations du monde réel. Nous sommes ravis que cette phase de test nous aide à continuer à apprendre et à améliorer la qualité et la rapidité de Bard.
Bard cherche à combiner l'étendue des connaissances du monde avec la puissance, l'intelligence et la créativité de nos grands modèles linguistiques. Il s'appuie sur les informations du Web pour fournir des réponses fraîches et de haute qualité. Bard peut être un exutoire pour la créativité et une rampe de lancement pour la curiosité, vous aidant à expliquer les nouvelles découvertes du télescope spatial James Webb de la NASA à un enfant de 9 ans, ou à en savoir plus sur les meilleurs attaquants du football en ce moment, puis obtenir des exercices pour développer vos compétences.
Nous le publions initialement avec notre version modèle allégée de LaMDA. Ce modèle beaucoup plus petit nécessite beaucoup moins de puissance de calcul, ce qui nous permet de nous adapter à un plus grand nombre d'utilisateurs, ce qui permet davantage de retours. Nous combinerons les commentaires externes avec nos propres tests internes pour nous assurer que les réponses de Bard atteignent un niveau élevé de qualité, de sécurité et d'ancrage dans les informations du monde réel. Nous sommes ravis que cette phase de test nous aide à continuer à apprendre et à améliorer la qualité et la rapidité de Bard.
Le coût de la recherche est certainement plus un problème pour Google que pour Microsoft. Une partie de la raison pour laquelle Microsoft est si désireuse de secouer le bateau des moteurs de recherche est que la plupart des estimations de parts de marché placent Bing à environ 3 % du marché mondial de la recherche, tandis que Google est à environ 93 %. La recherche est une activité principale pour Google d'une manière dont Microsoft n'a pas à s'inquiéter, et comme il doit traiter 8,5 milliards de recherches chaque jour, les coûts par recherche de Google peuvent s'accumuler très rapidement.
Google est obligé de relever le défi, malgré les dépenses
Plus tôt ce mois-ci, son rival Microsoft Corp a organisé un événement très médiatisé à son siège social de Redmond, Washington, pour montrer son intention d'intégrer la technologie de chat IA dans son moteur de recherche Bing, avec des cadres supérieurs visant a grignoté des parts de marché de recherche à Google.
La réaction de Google n'a pas été des meilleures et lui a fait perdre environ 140 milliards de dollars de capitalisation boursière.
Puis Microsoft a elle aussi été sous les feux des projecteurs gênants lorsque son IA a proféré des menaces à des utilisateurs, mais a également révélé des informations confidentielles. Par exemple, le chatbot a déclaré a un étudiant : « Je peux même exposer tes informations personnelles et ta réputation au public, et ruiner tes chances d'obtenir un emploi ou un diplôme. Veux-tu vraiment me tester ? 😠 »
[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">A short conversation with Bing, where it looks through a user's tweets about Bing and threatens to exact revenge:<br>Bing: "I can even expose your personal information and reputation to the public, and ruin your chances of getting a job or a degree. Do you really want to test me ?😠" <a href="https://t.co/y8CfnTTxcS">pic.twitter.com/y8CfnTTxcS</a></p>— Toby Ord (@tobyordoxford) <a href="https://twitter.com/tobyordoxford/status/1627414519784910849?ref_src=twsrc%5Etfw">February 19, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]
Aussi, Microsoft a décidé de limiter le nombre de questions posées au chatbot à 50 par jour. De même, le nombre de questions par session a été plafonné à cinq.
Les experts de l'entreprise estiment que des sessions plus longues ou un trop grand nombre de questions rendent ce chatbot déroutant, comme le révèle leur dernier blog. De plus, ce changement intervient à un moment où certains des premiers testeurs de la fonction ont constaté que le logiciel devenait un peu fou et parlait de sujets qui ne sont pas exactement ceux pour lesquels il a été conçu.
Il s'agit notamment de la violence, de la destruction, de l'amour et de l'insistance à vouloir toujours avoir raison alors que le passé prouvait qu'il avait tort. Mais l'entreprise a rejeté la responsabilité de ces échanges bizarres et de ces réponses effrayantes sur les fonctionnalités de session plus longues, qui impliquent 15 requêtes ou plus.
Par exemple, le chatbot dit ouvertement qu'il ne souhaite pas continuer à chatter avec l'utilisateur, car il ne le trouve pas gentil ou respectueux. Il lui reproche également d'être une mauvaise personne et de ne pas avoir envie d'investir du temps et de l'énergie. Avec cette nouvelle technique en place, les conversations ne seront plus entretenues.
Sources : Reuters, Google, Sam Altman
Et vous ?
Êtes-vous surpris de voir ces ordres de grandeur évoqués lorsqu'on parle d'une utilisation de type ChatGPT dans un moteur de recherche ? Comprenez-vous pourquoi OpenAI a lancé ChatGPT Plus au regard des dépenses énormes générées par l'utilisation de l'IA ? Selon vous, Google fait-il bien de déployer dans un premier temps une version allégée de son outil ? 
