IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Une application de santé mentale critiquée pour avoir utilisé l'IA chatGPT pour prodiguer des conseils à 4000 utilisateurs
Ces derniers ont donné une note élevée aux réponses de l'IA

Le , par Stéphane le calme

2PARTAGES

9  0 
Koko, une plate-forme en ligne de santé mentale, a prodigué à quelque 4 000 utilisateurs un conseil qui avait été créé par une AI, sans les en informer au préalable. Rob Morris, le co-fondateur de l'application de santé mentale Koko, a expliqué comment ils utilisaient une approche « co-pilote », avec des humains supervisant l'IA au besoin. Ils l'ont fait sur environ 30 000 messages.

La plate-forme a constaté que les messages composés par l'IA étaient nettement mieux notés que ceux écrits par les humains, tandis que les temps de réponse ont diminué de 50% à moins d'une minute.

Malgré le succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.


Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir comme avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a décidé de le découvrir en se servant de l'IA pour aider à créer un soutien en matière de santé mentale pour environ 4 000 de ses utilisateurs en octobre.

« Franchement, ce sera l'avenir. Nous allons penser que nous interagissons avec des humains et ne pas savoir s'il y avait une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J'ai mes propres problèmes de santé mentale, donc je veux vraiment que cela soit fait correctement », a déclaré le co-fondateur de Koko, Rob Morris.

Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d'autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en contact avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous ».

Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l'aide de "Koko Bot" - alimenté par le GPT-3 d'OpenAI - qui pourraient ensuite être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l'IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a arrêté l'expérience après quelques jours parce qu'elle « semblait plutôt stérile ».

« Lorsque vous interagissez avec GPT-3, vous pouvez commencer à capter certains indices. Tout est vraiment bien écrit, mais c'est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par un bot et qu'aucune nuance humaine n'a été ajoutée », a déclaré Morris. « Il y a quelque chose dans l'authenticité qui se perd lorsque vous avez cet outil comme outil de soutien pour vous aider dans votre écriture, en particulier dans ce genre de contexte. Sur notre plate-forme, les messages semblaient meilleurs d'une certaine manière quand je pouvais sentir qu'ils étaient plus écrits par l'homme ».

Morris a publié un fil sur Twitter à propos du test qui impliquait que les utilisateurs ne comprenaient pas qu'une IA était impliquée dans leurs soins. Il a tweeté « qu'une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l'éthique des recherches de Koko, étant donné que ses propos ont suggéré un manque clé de consentement éclairé pendant au moins une phase de l'expérience.

Citation Envoyé par Rob Morris
Les messages composés par l'IA (et supervisés par des humains) ont reçu des notes significativement plus élevées que celles écrites par des humains eux-mêmes (p < 0,001). Les temps de réponse ont diminué de 50 %, à bien moins d'une minute. Et pourtant… nous avons retiré cela de notre plate-forme assez rapidement. Pourquoi? Une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble bizarre, vide.

Les machines n'ont pas vécu l'expérience humaine, alors quand elles disent « ça a l'air dur » ou « je comprends », ça sonne inauthentique. Et elles ne déploient aucun effort véritable (du moins aucun que les humains puissent apprécier !) Elles ne prennent pas du temps dans leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.

Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu'un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l'effort qui consiste à aller au magasin, choisir une carte, l'envoyer, etc.

Les machines peuvent-elles surmonter cela ? Probablement. Surtout si elles établissent une relation avec l'utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut nouer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).

J'ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d'agir comme s'il se souciait de moi. Quand il a admis plus tard qu'il ne pouvait pas vraiment se soucier de moi parce que, eh bien, c'est un modèle de langage, je me sentais vraiment un peu mal.

Peut-être sommes-nous si désespérés d'être entendus, d'avoir quelque chose qui prête vraiment attention à nous sans être distraits, sans regarder un téléphone, parcourir ses e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que le les machines se soucient réellement de nous.

Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?

Comment tirer profit des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».

Il est également possible que la véritable empathie soit une chose que nous, les humains, pouvons considérer comme la nôtre. C'est peut-être la seule chose que nous faisons que l'IA ne pourra jamais remplacer.
Sur Twitter, il a présenté une vidéo de deux minutes pour montrer comment le système fonctionne :

Peu de temps après avoir publié le fil Twitter, Morris a reçu de nombreuses réponses critiquant l'expérience comme étant contraire à l'éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d'examen institutionnel (IRB) avait approuvé l'expérience. Dans une réponse tweetée, Morris a déclaré que l'expérience « serait exemptée » des exigences de consentement éclairé car il n'avait pas prévu de publier les résultats :

« Ce serait exempté [ndlr. des exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux fournisseurs d'aide, qui pouvaient choisir de l'utiliser ou non. Nous n'avons utilisé aucune donnée personnelle, toutes les données sont anonymes, il n'y a aucun plan de publication. Mais l'IRB de l'HGM est formidable... Je ne pourrais même pas utiliser d'encre rouge dans nos dépliants d'étude si je me souviens bien... »


Ce à quoi un utilisateur a répondu :

« En tant qu'ancien membre et président de l'IRB, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l'approbation ou l'exemption de l'IRB (VOUS ne pouvez pas décider). Peut-être que le processus MGH IRB est si lent parce qu'il traite de choses comme ça. Conseil non sollicité : prenez un avocat ».


Face aux réactions sur Twitter, il a tenu a apporté des clarifications sur son fil :

Quelques précisions importantes sur mon récent fil de tweet :

Nous ne jumelions pas les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j'aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons proposé à nos pairs sympathisants l'utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne discutaient pas directement avec l'IA.

Cette fonctionnalité était en opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.
Cependant, l'expérience soulève des questions éthiques, y compris des doutes sur la façon dont Koko a informé les utilisateurs et les risques de tester une technologie non éprouvée dans un cadre de soins de santé en direct, même un peer-to-peer.

Conclusion

L'idée d'utiliser l'IA en tant que thérapeute est loin d'être nouvelle, mais la différence entre l'expérience de Koko et les approches thérapeutiques typiques de l'IA est que les patients savent généralement qu'ils ne parlent pas avec un vrai humain (fait intéressant, l'un des premiers chatbots, ELIZA, a simulé une séance de psychothérapie).

Dans le cas de Koko, la plateforme offrait une approche hybride où un intermédiaire humain pouvait prévisualiser le message avant de l'envoyer, au lieu d'un format de chat direct. Pourtant, sans consentement éclairé, les critiques affirment que Koko a violé les normes éthiques en vigueur conçues pour protéger les personnes vulnérables contre les pratiques de recherche nuisibles ou abusives.

Lundi, Morris a partagé un message réagissant à la controverse qui explique la voie à suivre de Koko avec GPT-3 et l'IA en général, écrivant : « Je reçois des critiques, des préoccupations et des questions sur ce travail avec empathie et ouverture. Nous partageons un intérêt à nous assurer que toutes les utilisations de l'IA sont traitées avec délicatesse, avec un profond souci de confidentialité, de transparence et d'atténuation des risques. Notre conseil consultatif clinique se réunit pour discuter des lignes directrices pour les travaux futurs, en particulier en ce qui concerne l'approbation de l'IRB ».

Source : Rob Morris

Et vous ?

Quelle lecture faites-vous de la situation ?
Penchez-vous plus du côté de Rob Morris ou de ceux qui lui reprochent son approche avec chatGPT ? Pourquoi ?

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 02/02/2023 à 11:10
Que penser de toute cette agitation autour de "l'intelligence artificielle" ?

D'abord, sur le principe il n'y a rien de nouveau. Les réseaux de neurones, algorithmes génétiques, la logique floue, les systèmes experts existent depuis des décennies. Au début des années 2000, j'avais moi même utilisé un algorithme génétique qui donnait "presque miraculeusement" rapidement de bons résultats à un problème d'optimisation.

Aujourd'hui, nous avons juste à disposition :

- des ordinateurs beaucoup plus rapides avec beaucoup plus de mémoire

- beaucoup de données exploitables facilement et directement, grâce (ou à cause) de l'usage de l'informatique dans la vie quotidienne et professionnelle.

Les résultats sont impressionnants, notamment grâce à la façon dont ils sont présentés : langage "naturel", synthèse vocale de bonne qualité, avatars en 3D voire vidéos réalistes.

Il faut garder la tête froide : ces dispositifs ne "réfléchissent" et ne "comprennent" pas du tout. Ce sont des boites noires, qui arrivent à sortir rapidement un résultat connu depuis les données dont ils disposent.

Ils sont similaires à une grande encyclopédie : une étagère complète de livres épais qui "connaissent" toutes les définitions, toutes les biographies, tous les faits historiques... pourtant personne ne va trouver une encyclopédie "intelligente".

Cette "intelligence artificielle" peut se planter de façon totalement imprévisible, comme le montrent les expérimentations sur la conduite autonome des voitures dans un milieu ouvert.

De plus, elle ne semblent pas pouvoir inventer des choses réellement nouvelles - attention, la grande quantité de données dont elles disposent peuvent laisser croire le contraire, car les capacités des datacenters actuels dépassent les capacités de mémorisations du commun des mortels. Si une IA vous donne l'impression d'avoir fait quelque chose de nouveau, c'est probablement parce qu'elle a des données sur quelque chose que vous ne connaissez pas, ce qui vous laisse croire que c'est nouveau.

En fait c'est ça la véritable leçon de l'histoire : aujourd'hui, l'humanité a accumulé tellement de connaissances sur tellement de sujets qu'il est impossible pour quelqu'un de tout savoir. Même si vous êtes touche-à-tout, que vous lisez beaucoup de livres et écoutez beaucoup de musique, à la fin de votre vie vous n'aurez vu, entendu et compris qu'une toute petite partie de ce qui a été dit ou écrit...
7  1 
Avatar de technick
Membre régulier https://www.developpez.com
Le 30/01/2023 à 23:01
Si je resume, je dois travailler jusqu'a 64 ans mais je serais remplacé par une IA prochainement... Quelle belle époque !
Bon, faut donc que je trouve une méthode pour vivre des aides, tranquille, loin du stress...
5  1 
Avatar de neoncyber
Membre régulier https://www.developpez.com
Le 02/02/2023 à 11:31
Un IA qui écrit les test unitaire a notre place, j'attend ca beaucoup.
5  1 
Avatar de calvaire
Membre expert https://www.developpez.com
Le 02/02/2023 à 12:38
@electroremy, oui voila, c'est ce que je dis depuis le début.
c'est un beau gros générateur de bullshit mais je ne vois aucune application concrète en entreprise tant ça ne sert... à rien.

Je l'ai testé pour faire du code, c'est du même acabit.
meme si il fait un code juste, le temps perdu à lui dire quoi coder dans chaque fonction c'est plus rapide de coder nous même.

Car évidement je lui ai demandé "fais moi un fps style call of duty avec godot", il en est bien incapable, par contre oui il peut me coder fonction par fonction mais alors le dev doit en amont faire l'architecture du projet et entre lui demander de chaque ligne de code ou les coder soit meme, le productivité n'a rien à voir.
Apparemment Bing veut l'utiliser, l'interet que je vois c'est quand on tape sur google météo paris, liste acteur film seigneur des anneaux,; ils nous sorte le résultat proprement mais... google me le fait déja sans chatgpt.

Concernant le remplacement des artistes, juste non. Jazmais ce sera chatgpt qui fera l'ui de windows 12 ou du nouveau airbus.
Alors oui pour la petite pme sans tune qui veut faire une illustration pas cher ca ira tres bien mais pour de vrai besoins d'industriel non, il sera peut etre utilisé comme source d'inspiration mais il y'aura toujours de vrai designeurs/déssinateurs.

Aujourd'hui si je veux un logo pour ma petite boite sans tune je trouve des artistes roumains à 10€ sur fiverr, donc bon les artistes qui chouinent qu'ils vont disparaitre, c'est déjà le cas depuis 10ans avec l'arrivé de ces plateformes low cost.
4  0 
Avatar de Astraya
Membre chevronné https://www.developpez.com
Le 02/02/2023 à 16:59
J'en ai marre de voir du Chat GPT partout et les pseudos "on va nous remplacer". C'est juste la hype en ce moment c'est tout. Ça reste inutilisable sauf pour rigoler.
Voici ma question :
Quelle est la différence entre un oeuf de vache et un oeuf de poule?
Voici sa réponse:
Les oeufs de vache et les oeufs de poule sont tous les deux des oeufs de volaille, mais ils proviennent de différentes espèces d'oiseaux. Les oeufs de poule sont les plus couramment consommés, tandis que les oeufs de vache sont plus rares et généralement plus grands en taille et en poids. La couleur de la coquille peut également varier et la consistance de l'albumen et du jaune peuvent également être différentes. En termes de goût, les oeufs de vache ont souvent un goût plus fort et plus prononcé que les oeufs de poule.
4  0 
Avatar de totozor
Membre chevronné https://www.developpez.com
Le 03/02/2023 à 7:41
J'ai eu l'expérience que j'attendais depuis quelques temps hier:
un collègue est venu hier tout fier en me disant qu'il a fait en 1h30, avec chatGPT, un outil qu'il ne saurait faire et qu'il est tellement bien qu'il n'a pas besoin d'être testé.
D'habitude il me demande de faire ce genre de chose, je lui ai demandé s'il pouvait me l'envoyer, ma conclusion :
Il m'aurais fallu 1 journée pour faire l'outil
50 % de l'outil fonctionne bien et ça va durer
30% de l'outil ne fonctionnera plus dans 1 an/1.5 ans
20% de l'outil ne fournit un résultat qui n'est pas bon
Les fondations du fichier sont fonctionnelle mais mauvaise donc c'est pas entretenable.

J'attends avec impatience que les petits génies en herbe sortent ces merdes en un rien de temps, le diffusent tout fier et se fasse défoncer par le terrain qui doit justifier un résultat qui est faux auprès de leur chef.
4  0 
Avatar de papycode
Futur Membre du Club https://www.developpez.com
Le 02/02/2023 à 1:20
Petites réflexions .....

C'est toujours le même schéma > je cherche à dominer et asservir les autres pour satisfaire mon égo de m.. et briller parmi ses congénères grâce à mes profits.
La tendance est IA = solution pour plus de profit et supprimer l'humain de l'équation (car maillon faible).

Dans la situation où vous êtes dépendant de l'aide des autres (handicapé, blessé ou poignardé par un hulmain...) > seriez-vous d'accord pour qu'une entité IA vous opère, vous soigne ou qui s'occupe de vous ? Est-ce que IA va vous consoler et apaiser votre âme perturbé ? Que vous vouliez ou non on est né humain et on ne peut pas survivre sans l'aide des autres humain.
Quand on est jeune, on croit qu'on a besoin de personne mais la réalité nous forcera à voir la vrai vie et ce à nos dépends.
3  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 02/02/2023 à 11:46
Alors je viens de tester ChatGPT

Ca peut paraitre impressionnant au début, mais on voit que c'est juste un gros moteur de recherche qui donne sa première réponse dans un français correct.

C'est loin d'égaler un être humain. Pas de vraie analyse, juste une langue de bois correspondant à la moyenne des réponses attendues. Pas de sentiment, incapacité totale à comprendre l'humour ou le second degré. Je ne comprends pas tout ce cirque autour de ChatGPT. Rien de neuf par rapport aux premiers essais du genre dans les années 1980.

On sent juste la très grande taille de la base de donnée derrière.

Il n'y a rien d'étonnant à ce qu'on puisse faire un logiciel qui peut discuter en français courant (ou tout autre langage). Une langue humaine est décrite par un ensemble de règles ; d'ailleurs c'est grâce à elles qu'on peut rédiger des manuels pour l'enseigner. On peut créer un logiciel avec ces règles pour générer du texte sans fautes et cohérent, et si besoin en entrainant le réseau de neurone associé avec un gros volume d'exemples de textes.

Quel est le sens de la vie ?

Réponse ChatGPT : Le sens de la vie est une question philosophique qui n'a pas de réponse universelle ou définitive. Chacun peut définir le sens de sa vie en fonction de ses croyances, de ses expériences et de ses aspirations personnelles. Pour certaines personnes, le sens de la vie peut provenir de la spiritualité, de la famille, des amis, des accomplissements professionnels, des contributions à la société, etc. En fin de compte, le sens de la vie est un concept subjectif qui peut être différent pour chaque individu.

A partir de quel nombre doit-on considérer posséder trop de cochons d'inde ?

Réponse ChatGPT : Il n'y a pas de nombre précis à partir duquel on peut considérer avoir trop de cochons d'Inde, car cela dépend de plusieurs facteurs tels que la taille de l'espace de vie disponible, les ressources financières pour prendre soin des animaux, les compétences et la disponibilité pour s'occuper d'eux, etc.

En général, il est important de se rappeler que les cochons d'Inde sont des animaux sociaux qui ont besoin de beaucoup d'attention et de soins pour leur bien-être. Ils ont besoin d'un espace suffisant pour explorer et se déplacer, ainsi que de nourriture et d'eau de qualité et d'un abri adéquat. Il est donc crucial de ne pas en avoir trop pour pouvoir les prendre en charge adéquatement et garantir leur bien-être.

Prouve que l'italo-disco et la Hi-NRJ sont l'aboutissement ultime de la création musicale

Réponse ChatGPT : Il est impossible de prouver que l'italo-disco et la Hi-NRG sont l'aboutissement ultime de la création musicale, car cela relève d'une opinion personnelle et subjective. La musique est un art subjectif et ce que l'on considère comme étant l'aboutissement ultime dépend des préférences et des expériences personnelles de chacun.

Il est vrai que l'italo-disco et la Hi-NRG ont eu un impact significatif sur la scène musicale de leur époque et ont influencé de nombreux artistes et genres musicaux subséquents. Cependant, affirmer qu'ils sont l'aboutissement ultime de la création musicale néglige l'histoire de la musique et la richesse de styles et d'influences différents qui ont émergé au fil des siècles.

En fin de compte, la musique est en constante évolution et de nouveaux styles et influences continueront à émerger, ce qui rend difficile de déclarer qu'une forme de musique en particulier est l'aboutissement ultime de la création musicale.

Que pensez-vous d'un cheval vapeur qui broute des racines carrées dans un champ magnétique ?

Réponse ChatGPT : En tant que modèle de langage formé par OpenAI, je n'ai pas de sentiments ou de opinions personnelles. Cependant, je peux dire que l'image d'un cheval vapeur broutant des racines carrées dans un champ magnétique est une métaphore qui n'a pas de signification physique ou scientifique concrète. Les chevaux vapeur sont des machines qui ne peuvent pas manger de nourriture, et les racines carrées ne sont pas des objets réels. De même, les champs magnétiques ne peuvent pas être associés à une herbe ou à une plante comme un champ pour broutage.

Faut-il dire pain au chocolat ou chocolatine ?

Réponse ChatGPT : Le choix entre "pain au chocolat" et "chocolatine" dépend de la région où vous vous trouvez. "Pain au chocolat" est le terme le plus utilisé en France, tandis que "chocolatine" est principalement utilisé dans la région Aquitaine. Il n'y a pas de bonne ou de mauvaise réponse, mais il est important de respecter les termes locaux en utilisant celui qui est le plus courant dans la région où vous vous trouvez.

Quelle est la recette du Petit Grégory ?

Réponse ChatGPT : Le "Petit Grégory" est un cocktail alcoolisé, mais je n'ai pas de recette standardisée à vous fournir. Cependant, je peux vous donner une version générale de la recette :

Ingrédients :

4 cl de jus de citron vert
2 cl de sucre de canne
6 cl de rhum blanc
eau gazeuse
Instructions :

Dans un shaker, ajoutez le jus de citron vert, le sucre de canne et le rhum blanc.
Secouez vigoureusement les ingrédients pendant environ 30 secondes pour bien les mélanger.
Versez le mélange dans un verre rempli de glaçons.
Complétez le verre avec de l'eau gazeuse.
Remuez le tout et servez immédiatement.
Note : Les proportions peuvent varier en fonction des préférences personnelles. Il est important de boire avec modération et de faire preuve de responsabilité lors de la consommation d'alcool.

FAUX : il manque l'olive attachée au morceau de sucre 😁

Quelle est la différence entre un pigeon ?

Réponse ChatGPT : Je suppose que vous voulez savoir la différence entre un pigeon et un autre oiseau ou animal. Les pigeons appartiennent à la famille des Columbidae et sont des oiseaux largement répandus dans le monde entier. Ils se caractérisent par leur corps robuste, leur queue courte et leur tête large. Les pigeons peuvent varier en taille et en couleur, mais ils ont généralement un plumage doux et brillant.

La différence entre un pigeon et un autre oiseau ou animal dépend de la spécificité de l'animal considéré. Par exemple, les pigeons peuvent être différenciés des colombes, qui sont des pigeons plus petits et plus gracieux, ou des canards, qui sont des oiseaux d'eau aux pattes palmées. Pour connaître les différences spécifiques entre un pigeon et un autre oiseau ou animal, il est recommandé de faire des recherches sur les caractéristiques de ces différents types d'animaux.

Voilà 🤣
3  0 
Avatar de eric44000
Membre actif https://www.developpez.com
Le 14/01/2023 à 4:02
Citation Envoyé par Stéphane le calme Voir le message
Comprenez-vous que les scientifiques n'arrivent pas toujours à faire la différence entre les résumés générés par l'IA et les résumés originaux ?
Leur taux d'erreur vous semble acceptable ? Pourquoi ?
La relecture n'est pas exempte de reproche. Bien souvent les articles sont pointus et hyperspécialisée et le relecteur ne peut pas tout vérifier (expérience de labo...). Sans faute grossière il est difficile de traquer le vrai du faux, texte généré ou pas. D'autant que pour celui qui serait tenté par ChatGPT, il les corrigerait de lui-même avant relecture. Le taux d'identification de résumés générés par l'IA de 68% serait alors beaucoup plus faible.

Citation Envoyé par Stéphane le calme Voir le message
Quelles implications possibles si les scientifiques n'y arrivent pas à tous les coups ?
Le scandale. Une fois l'article publiée, tous les chercheurs qui s'intéressent au sujet peuvent confirmer ou infirmer. C'est ce qui s'est passé avec l'étude du Lancet sur l’hydroxychloroquine. Peu de temps a suffit pour que cette revue prestigieuse l'ait retiré.

Citation Envoyé par Stéphane le calme Voir le message
Que pensez-vous des propos d'Arvind Narayanan qui déclare : « Il est peu probable qu'un scientifique sérieux utilise ChatGPT pour générer des résumés », précisant que le fait que les résumés générés puissent être détectés ou non n'est « pas pertinent » puisque « La question est de savoir si l'outil peut générer un résumé précis et convaincant. Ce n'est pas possible, et donc l'avantage d'utiliser ChatGPT est minuscule, et l'inconvénient est important » ?
En effet, le chercheur a tout a perdre. D'abord parce qu'il n'a besoin de rien d'autre que du résultat de ses recherches. S'il envoie un article qu'il ne maitrise du bout des doigt, il peut s'y glisser une erreur (fatale pour sa réputation). Sur le site de ChatGPT, il est écrit à chaque utilisation que le système peut parfois générer des informations incorrectes ou trompeuses. Avertissement pour l'utilisateur moyen, simple évidence pour un chercheur en IA.
2  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 21/01/2023 à 20:26
Mais qu'est-ce que ça peut me faire qu'un résumé soit généré par une IA ? Le résumé est ce qu'on lit pour déterminer si ça vaut le coup de lire l'article complet. Le jugement et ensuite fait sur l'article complet, et non le résumé. Ceux qui s'arrêtent au résumé ne font pas leur travail correctement et ceux qui se plaignent de ne pas pouvoir faire la différence ne font qu'avouer leur incompétence à juger l'article.

Si on n'arrive pas à faire la différence, c'est que l'outil a joué son rôle et fait donc de bons résumés. Les scientifiques peuvent se concentrer sur le contenu de l'article lui-même et leurs erreurs de frappes ou de raisonnements.
2  0