IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un professeur d'informatique du MIT teste l'impact de l'IA sur la formation des programmeurs : « Il faut toujours les bases pour être des informaticiens et des ingénieurs logiciels efficaces »

Le , par Stéphane le calme

215PARTAGES

13  0 
Un professeur d'informatique du MIT teste l'impact de l'IA sur la formation des programmeurs :
l'attention constante portée à l'intégration de l'IA dans la plupart des secteurs d'activité modifie la manière dont l'informatique est enseignée

L’intelligence artificielle (IA) transforme de nombreux secteurs, y compris l’éducation. Une récente expérience menée par Eric Klopfer, professeur au Massachusetts Institute of Technology (MIT), a exploré comment l’IA influence l’apprentissage des programmeurs.

L'automne dernier, Eric Klopfer a décidé de mener une expérience dans son cours d'informatique de premier cycle au Massachusetts Institute of Technology (MIT). Il a divisé la classe en trois groupes et leur a donné une tâche de programmation à résoudre en langage Fortran, qu'aucun d'entre eux ne connaissait.

Chaque groupe avait accès à différents outils pour résoudre le problème :
  • Un groupe a été autorisé à utiliser ChatGPT pour résoudre le problème;
  • le deuxième groupe a été invité à utiliser le grand modèle linguistique (LLM) Code Llama de Meta ;
  • et le troisième groupe n'a pu utiliser que Google, sans assistance d’IA.

L’objectif était de comparer non seulement la rapidité avec laquelle chaque groupe pouvait résoudre le problème, mais aussi la qualité de leur compréhension et leur capacité à retenir les informations.


Les résultats

Les résultats ont montré que le groupe utilisant ChatGPT a résolu le problème le plus rapidement, suivi par le groupe utilisant Code Llama, et enfin le groupe utilisant Google, qui a mis encore plus de temps, car il a dû décomposer la tâche en plusieurs éléments.

Cependant, lorsque les étudiants ont été testés sur leur capacité à résoudre le problème de mémoire, les résultats ont été inversés : le groupe ChatGPT « ne s'est souvenu de rien et a échoué », se souvient Klopfer, professeur et directeur du programme de formation des enseignants Scheller du MIT et de The Education Arcade. En revanche, la moitié du groupe Code Llama a réussi le test. Le groupe qui a utilisé Google ? Tous les élèves ont réussi.

« Il s'agit d'une leçon éducative importante », a déclaré Klopfer. « Travailler dur et se battre est en fait une façon importante d'apprendre. Lorsqu'on vous donne une réponse, vous ne vous débattez pas et vous n'apprenez pas. Et lorsque le problème devient plus complexe, il est fastidieux de revenir au début d'un grand modèle de langage pour tenter de comprendre et l'intégrer. »

En revanche, la décomposition du problème en éléments permet d'utiliser un LLM pour travailler sur de petits aspects, au lieu d'essayer d'utiliser le modèle pour l'ensemble d'un projet, ajoute-t-il. « Ces compétences, qui consistent à décomposer le problème, sont essentielles à l'apprentissage ».

Cet exemple a permis à Klopfer de conclure avec confiance que l'informatique n'est pas condamnée à l'heure où l'IA se fraye un chemin dans tous les secteurs d'activité. D'autres experts en informatique conviennent que plus l'IA sera utilisée, plus la nature des emplois changera, et qu'il faudra donc continuer à enseigner aux humains des concepts de base tels que les statistiques et la connaissance du fonctionnement des systèmes.

« Il faut toujours les bases pour être des informaticiens et des ingénieurs logiciels efficaces », a déclaré Beena Ammanath, responsable de l'IA digne de confiance et de la technologie éthique chez Deloitte.

Malgré toutes les craintes concernant les suppressions d'emplois dues à l'IA, une étude récente du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT a révélé que l'automatisation des emplois humains pourrait prendre plus de temps qu'on ne le pensait auparavant. Selon l'étude, seuls 23 % environ des salaires liés aux tâches de vision pourraient être remplacés de manière rentable par l'IA, ce qui indique que le déplacement des emplois dû à l'IA, en particulier dans le domaine de la vision par ordinateur, risque de se produire plus lentement qu'on ne l'avait envisagé au départ.

Les résultats « suggèrent que nous devrions nous attendre à ce que les effets de l'automatisation de l'IA soient moins importants que les effets d'automatisation/destruction d'emplois déjà observés dans l'économie », indique l'étude. « Il n'est pas certain que l'ajout de l'automatisation par l'IA à ces effets existants augmentera de manière substantielle la destruction globale d'emplois. Bien qu'il soit probable que des emplois soient perdus, « nous pensons également qu'une fraction substantielle de l'automatisation des tâches par l'IA se produira dans des domaines où l'automatisation traditionnelle est en cours », observe l'étude du CSAIL.


Comment l'enseignement de l'informatique va évoluer pour aborder l'IA

L'accent mis sur l'intégration de l'IA dans la plupart des secteurs d'activité va également modifier la manière dont l'informatique sera enseignée, offrant des opportunités « tout à fait considérables », selon Risto Miikkulainen, professeur d'informatique à l'université du Texas à Austin et vice-président associé de l'intelligence évolutive chez Cognizant AI Labs.

Avec l'arrivée d'outils tels que le chatbot Copilot de Microsoft, par exemple, certains pourraient se demander pourquoi ils devraient se donner la peine d'apprendre à coder. Miikkulainen pense que les étudiants utilisent Copilot et d'autres chatbots principalement « comme un tuteur pour les devoirs de programmation » afin de suggérer des modifications.

« Tout d'un coup, l'enseignement de la programmation devient beaucoup plus vivant », explique Miikkulainen.

Reid Gordon Simmons, professeur de recherche à l'Institut de robotique de l'université Carnegie Mellon, ajoute que, de la même manière que les compilateurs traduisent le code source d'un langage de programmation en code machine, ce qui évite aux ingénieurs en informatique d'avoir à comprendre les assembleurs, « l'utilisation de l'IA et de la ML rendra de moins en moins nécessaire la compréhension des détails du codage ».

Cependant, il est toujours important d'apprendre aux gens à coder, tout simplement parce qu'une partie du travail d'informaticien consiste à comprendre les processus, a déclaré Simmons. « Mon analogie est d'enseigner l'arithmétique à des enfants de sept ans. Lorsque vous arrivez au collège, plus personne ne fait d'arithmétique à la main ; vous utilisez des calculatrices ».

Même si les calculatrices peuvent faire le travail à votre place, vous devez toujours comprendre les concepts, a-t-il ajouté. « De même, les informaticiens devront comprendre les principes fondamentaux de la programmation afin d'être efficaces dans leur travail, mais tout comme avec les calculatrices, ils n'auront pas à coder beaucoup ».

L'IA nécessite l'enseignement de disciplines ou d'aspects entièrement nouveaux de l'informatique, tels que l'IA responsable et la manière d'empêcher l'utilisation abusive de l'IA, a déclaré Miikkulainen. « Il y aura tellement de gens qui utiliseront [les systèmes d'IA] sans comprendre ce qu'il y a sous le capot ».

De nouvelles filières universitaires apparaîtront également dans des domaines tels que la science des données, l'apprentissage automatique, l'expérience utilisateur et l'ingénierie mobile, ainsi que dans des branches spécifiques de l'IA, telles que l'IA générative, les LLM et la vision par ordinateur, a déclaré Ammanath de Deloitte. Cela permettra non seulement de préparer les étudiants aux emplois du futur proche et de les rendre plus commercialisables, mais aussi de maintenir la compétitivité des États-Unis par rapport aux autres pays dans la course mondiale à l'armement en matière d'IA.


Les éducateurs face aux hallucinations des LLM : enseigner à être sceptique dans un monde de textes générés par l'IA

Les éducateurs sont prudents, compte tenu de la tendance à l'hallucination du LLM. « Nous devons apprendre aux étudiants à être sceptiques à l'égard des résultats et à s'approprier la vérification et la validation de ces derniers », explique Jeanna Matthews, professeur d'informatique à l'université Clarkson de Potsdam, dans l'État de New York. .

Il ajoute que l'IA générative « peut court-circuiter le processus d'apprentissage des étudiants qui s'y fient trop ». Chang reconnaît que cette dépendance excessive peut être un piège et conseille à ses camarades étudiants d'explorer eux-mêmes les solutions possibles aux problèmes afin de ne pas perdre cette pensée critique ou ce processus d'apprentissage efficace. « Nous devrions faire de l'IA un copilote - et non le pilote automatique - de l'apprentissage », déclare-t-il.

ChatGPT a impressionné le monde par la profondeur de ses connaissances et la fluidité de ses réponses, mais un problème a entravé son utilité : Il n'arrête pas d'halluciner. Oui, les grands modèles de langage (LLM) hallucinent, un concept popularisé par les chercheurs en IA de Google en 2018. Dans ce contexte, l'hallucination fait référence à des erreurs dans le texte généré qui sont sémantiquement ou syntaxiquement plausibles, mais qui sont en fait incorrectes ou absurdes. En bref, vous ne pouvez pas faire confiance à ce que la machine vous dit.

C'est pourquoi, même si le Codex d'OpenAI ou le Copilot de Github peuvent écrire du code, un programmeur expérimenté doit toujours examiner le résultat - l'approuver, le corriger ou le rejeter avant de le laisser se glisser dans une base de code où il pourrait faire des ravages. Les enseignants du secondaire apprennent la même chose. Un rapport de lecture ou un essai historique rédigé par ChatGPT peut être facile à lire, mais peut facilement contenir des « faits » erronés que l'élève était trop paresseux pour déceler.

Les hallucinations constituent un problème sérieux. Bill Gates a imaginé que ChatGPT ou d'autres modèles linguistiques de grande taille pourraient un jour fournir des conseils médicaux aux personnes qui n'ont pas accès à un médecin. Mais on ne peut pas se fier aux conseils d'une machine sujette aux hallucinations.

Conclusion

L’expérience de Klopfer au MIT offre des leçons précieuses pour l’intégration de l’IA dans l’éducation. Bien que l’IA puisse accélérer la résolution de problèmes, elle ne doit pas remplacer les méthodes d’apprentissage qui encouragent la compréhension et la rétention à long terme. Les éducateurs doivent trouver un équilibre pour tirer le meilleur parti des technologies avancées tout en assurant un apprentissage efficace et durable.

Quelles sont vos pensées sur l’utilisation de l’IA dans l’éducation ? Pensez-vous que les outils d’IA devraient être intégrés davantage dans les programmes scolaires, ou y a-t-il des risques à considérer ? Partagez vos opinions dans les commentaires ci-dessous !

Sources : MIT Scheller Teacher Education Program, Au-delà de l'exposition à l'IA : quelles sont les tâches qu'il est rentable d'automatiser grâce à la vision par ordinateur ?, ACM

Et vous ?

Quels sont, selon vous, les avantages et les inconvénients de l’utilisation de l’IA comme outil d’apprentissage pour les programmeurs ?
Pensez-vous que l’IA pourrait remplacer les méthodes d’enseignement traditionnelles, ou devrait-elle être utilisée en complément ? Pourquoi ?
Avez-vous déjà utilisé des outils d’IA pour apprendre à programmer ? Si oui, comment cela a-t-il influencé votre apprentissage ?
Comment les éducateurs peuvent-ils équilibrer l’utilisation de l’IA avec des méthodes d’apprentissage plus traditionnelles pour garantir une compréhension approfondie des concepts ?
Quels sont les risques potentiels de dépendre trop fortement de l’IA pour l’éducation, et comment pouvons-nous les atténuer ?
Pensez-vous que l’IA pourrait aider à personnaliser l’apprentissage en fonction des besoins individuels des étudiants ? Si oui, comment ?
Comment voyez-vous l’avenir de l’éducation en informatique avec l’intégration croissante de l’IA ?
Vous avez lu gratuitement 178 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de totozor
Expert confirmé https://www.developpez.com
Le 25/09/2024 à 7:35
Citation Envoyé par Jade Emy Voir le message
Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Bien sur, nous savons tous que le climat c'est comme une voiture, quand il est cassé on le répare, avec des tournevis et du WD40.
Bien sur, nous savons tous, surtout depuis la physique quantique, que la physique est un domaine fini que nous mettons du temps à découvrir parce que nous sommes médiocres.
Quel est votre avis sur le sujet ?
Sam Altman est un clown qui ne sait pas de quoi il parle.
Mais il le dit surement mieux que moi parce qu'il lève des millions d'euros avec ce genre d'intervention.
Sam Altman prévoit que l'IA sera une ressource qui fera l'objet de guerres et deviendra principalement un outil pour les riches.[...]
Bref la même chose qu'aujourd'hui mais en pire
[...]Mais Sam Altman affirme que des triomphes stupéfiants, comme réparer le climat, établir une colonie spatiale et découvrir toute la physique, finiront par devenir monnaie courante avec l'AGI
Ah beh tout va bien alors...
Ceci dit non seulement on va réparer le climat et découvrir la physique mais en plus se sera monnaie courante...
11  0 
Avatar de popo
Expert confirmé https://www.developpez.com
Le 25/09/2024 à 11:13
Mais Sam Altman affirme que des triomphes stupéfiants, comme réparer le climat, établir une colonie spatiale et découvrir toute la physique, finiront par devenir monnaie courante avec l'AGI
MDR, l'IA, dont l'entraînement et l'utilisation des modèles génèrent d'importantes émissions de CO2 et dont les centres de données nécessaires à son fonctionnement consomment d'importantes quantités d'eau pour le refroidissement, serait bon pour le climat !!!
9  0 
Avatar de Jon Shannow
Membre extrêmement actif https://www.developpez.com
Le 24/09/2024 à 16:45
Il fume la même chose que Musk, celui-là ?
7  0 
Avatar de
https://www.developpez.com
Le 25/09/2024 à 8:54
Sam Altman, PDG d'OpenAI, prévoit une superintelligence dans "quelques milliers de jours", qui permettra de réparer le climat, d'établir une colonie spatiale et de découvrir toute la physique
Fuite en avant, solutionnisme technologique, annonces itératives (Coué ?)
Le problème actuellement est dans l'orientation "business as usual" d'LLM par exemple : c'est comme de faire d'un-e hyperingénieur-e généraliste ... un distributeur de prospectus. Question d'usage et de mode de vie : faire croire que de frotter un smartphone va faire apparaître un génie alors qu'i s'agit de géolocaliser, orienter le désir, toussa ...
Hors la question n'est pas de savoir à qui ça profite : la question est de découvrir si un génie va apparaître. Et à l'intérieur de cette question, il y a : quel(s) vœu(x) allons-nous faire ?
Et ça ... c'est une question d'esprit.
4  0 
Avatar de DrHelmut
Membre actif https://www.developpez.com
Le 30/09/2024 à 7:57
Le terme "IA" dans la gen AI est un pur terme marketing (et ça marche) alors qu'on a en vérité un produit qui est un simple exécutant qui ne prend aucune décision.
Pour moi, la révolution est dans la capacité d'analyse sémantique, et il est vrai que ça permet des usages très cool, avec un gain de temps certain.

Mais il faut un prompt. L'outil fait (plutôt très bien) ce qu'on lui demande. Il n'y a pas d'intelligence, de capacité d'initiative, d'autonomie dans ce qu'on nous vend comme étant de l''IA aujourd'hui.
4  0 
Avatar de Jipété
Expert éminent sénior https://www.developpez.com
Le 30/09/2024 à 18:44
Citation Envoyé par OuftiBoy Voir le message
Pour en revenir au prédiction d'Altman, qui profétice qu'on aura cela dans quelques milliers de jours, c'est assez flou comme délai... quelques milliers de jours, c'est au minimum dans (2 milliers de jours), soit 6 ans (quelques induisant un chiffre > 1), soit dans (10 milliers de jour), et donc dans 27 ans, bref, ça ne veut strictement rien dire, c'est parler pour parler, et surtout pour ne rien dire.
Oh, il y en a tout plein, ici et ailleurs, qui écrivent pour écrire-pour-eux parce que les autres ne peuvent pas comprendre ce qui est écrit tellement c'est bourré de tout et n'importe quoi, suivez mon regard...
Par exemple, les bouts de phrases entre parenthèses peuvent en général être enlevés, ce qui pourrait donner c'est au minimum dans, soit 6 ans, soit dans, et donc dans 27 ans, charabia incompréhensible et gaspilleur d'espace disque, comme souvent ici.

Tu as une manière bien personnelle d'écrire et donc (d'essayer) de communiquer mais àmha, avec cette méthode tu vas dans le mur...
Tu devrais la revoir.
4  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 12/11/2024 à 11:57
est il vraiment pertinent de faire un gros modèle ?

j'ai déja eu un cas concret dans le passé (rien a voir avec les llm), plus on faisait un gros réseau de neurone avec de la data (de "qualité" en plus) plus le modèle était mauvais/stagnait (overfitting).
au final nous avons fait plusieurs petit modèle et un classifier en front pour choisir le modèle en fonction des données d'entrées, les résultats était bien meilleurs ainsi.
l'article parle t'il d'ia généraliste comme chatgpt ou d'ia spécialisé par exemple dans le code ou des 2 ?

De toute façon cette technos et fatalement limité par la production humaine, si demain l'ia remplace les devs, alors l'ia ne pourra plus évoluer. C'est grâce à des humains qui écrive des docs, trouve des bugs les corrige ou écrive sur les forum comment les contourner et donne des réponses bénévolement sur stackoverflow que l'ia progresse.

Or l’informatique c'est surement le domaine le moins stable dans le monde, y'a toujours une nouvelle technos, une nouvelle version, des patchs de sécurité a faire...si bien que il faut évoluer et s'adapter, pour un humain, c'est un aspect que l'on peut aimer ou détester, mais ce que l'on apprends à la sortie d'école et déjà obsolète, c'est de l'apprentissage continue.

edit: même dans le cas d'ia orienté code, une fois ratissez les forums style stackoverflow, c'est compliqué d'aller plus loins

par contre, j'imagine dans le futur une fonctionnalité pour les entreprises permettant de donner à l'ia toute la base de code et doc technique de l'entreprise et s'entrainer dessus, ainsi l'ia aurait le contexte de l'entreprise et le coding standard. Ca serait déja une belle amélioration dans la qualité des réponses.
par exemple je lui demande comment me connecter une l'api d'un service interne, elle va me donner le code, comment m'y connecter (demander à Jean Jacque sur teams de me crée un compte machine avec token en lecture, ensuite de tester la connexion avec ce code et enfin la fonctionnalité que vous avez demandez)
4  0 
Avatar de vVDB.fr
Membre régulier https://www.developpez.com
Le 11/12/2024 à 17:33
Triste comme ces personnes peuvent fumer de la moquette !
Ils sont donc arrivé à faire une AI Générale !
Alors plus d'hallucinations, de mensonges, de biais ! Wahoo !!!
Cette AIG est capable d'évaluer la pertinence de ce qu'elle dit avec les sources ? De tester la robustesse des données de sa base d'intelligence ? D'en demander de supplémentaires car elle ne peut répondre a la question posée ? ...
Ah ! Non... Crottes !!!

Les IA des modèles actuels sont des perroquets scolastiques qui proposent le plus probable et normalement (malheureusement) incapables de produire une idée neuve par rapport à sa base d' apprentissage.
La connaissance encyclopédique n'est pas de l'intelligence, c'est juste bluffant.
Si cette iag fait de l'inférence, quelles sont les domaines mathématiques qu'elle aurait déjà épuisé ? Les trucs sympas qu'elle a démontré avec plus de finesse que l'humain ?
Altman sera mort avant que l'humanité le voit. Il est jeune Altman...
4  0 
Avatar de r0d
Expert éminent https://www.developpez.com
Le 30/12/2024 à 10:02
Citation Envoyé par Mat.M Voir le message
ça c'est un truc bien français la technophobie.
Et si un jour vous avez une pathologie et que votre médecin interroge un système d'I.A. pour établir un diagnostic afin de guérir rapidement ?
C'est un truc bien français de mépriser les français. Intéressante proposition récursive... J'ai l'impression que c'est dû au fait que nous nous croyons au centre du monde, un peu comme les américains: Non les français ne sont pas plus technophobes que les autres, mais il faudrait s'intéresser aux autres pour s'en rendre compte.
J'ai vécu dans plusieurs pays, et je peux t'assurer que l'immense majorité des poncifs sur les français sont faux.

Je ne suis pas technophobe, mais je suis critique.
De toutes façons, je pense qu'il y a quiproquo: Je critiquais l'utilisation des LLM, pas de l'IA en général.
4  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 07/07/2025 à 22:15
Citation Envoyé par Artemus24 Voir le message
Si je prends le cas de ChatGPT, il se sert de l'internet comme base de données pour effectuée une recherche. Rien à voir avec un quelconque apprentissage. Il peut même retourner de fausses informations puisqu'il est incapable de comprendre le sens même de la question posée. C'est en cela que je dis que pour l'instant, l'IA est une fumisterie, car ce que l'on nous présente n'est pas une IA générative et n'a aucune capacité d'apprentissage, juste une recherche améliorée.
Si si, c'est de l'apprentissage, mais tu es tombé dans le piège marketing de l'IA. Ce que l'IA générative apprend, ce n'est pas le savoir que tu trouves sur internet. C'est comment écrire du contenu qui ressemble à ce que tu trouves sur internet. C'est très différent et ça éclaire beaucoup de choses.

ChatGPT, Mistral, Claude, Gemini, et des milliers d'autres LLM qu'on peut trouver sur Hugging Face, y compris des équivalents des modèles commerciaux précédents, sont bel et bien basé sur l'apprentissage. Quand tu fais une requête, le principe de base du LLM n'est pas de faire une recherche sur internet. Il ne l'utilise pas lors de ta requête. Le LLM a été entrainé auparavant sur le contenu internet, comme AlphaGo a été entrainé sur des parties existantes de Go avant de jouer ses matchs. Mais là où AlphaGo a appris à jouer au Go, les LLM apprennent à générer du texte humain : ce qui vient après "le chat a mangé la" est de toute évidence "souris", parce que c'est ça le plus probable dans un texte humain. Peu importe que ce soit vrai ou pas, c'est statistiquement le plus probable. Un LLM génère du texte cohérent, et non pas vrai, c'est fondamental à comprendre car c'est la raison pour laquelle il peut fournir de fausses informations. On appelle ça des illusions mais ça n'a rien de spécial : c'est la limite fondamentale d'un LLM. La ressemblance à du texte humain est tout ce qui compte, la vérité il ne la connais pas. Internet sert à l'entrainement, mais à l'usage il génère une réponse sur la base de ce qu'il en a retenu, sans l'utiliser à nouveau.

Maintenant les LLM peuvent être augmentés par différents outils, et pour comprendre comment ça fonctionne il faut comprendre que plus on donne de contexte et plus le LLM pourra générer une réponse orientée. Par exemple, si tu ajoute comme contexte "Dans un monde où les plus petits mangent les plus gros" ce qui vient après "le chat a mangé la" pourrais bien être autre chose que "souris", genre "vache", car ça ne serait pas cohérent avec ce qui a été écrit avant. Ainsi, apporter du contexte permet d'orienter la réponse pour que le LLM génère une réponse cohérente qui va dans le sens qui nous intéresse. Cela reste statistique, on n'aura pas forcément ce qu'on veut, mais les chances augmentent.

Une fois qu'on sait exploiter le contexte, on peut utiliser des outils du genre récupération de données sur internet. On les ajoute au contexte avant de demander de répondre. La réponse sera donc influencée par ce qu'on a ajouté au contexte. Toujours dans le but de générer du texte cohérent, et non pas vrai. Tu peux ajouter des pages Web, des PDFs, des images (pour les modèles qui savent les traiter) et autres données au format textuel (CSV, Markdown, XML, JSON, etc.). Si tu demandes "Décrit moi les caractéristiques d'un transistor BD777", il te sortira quelque chose qui ressemble à une description technique de transistor, mais si tu compares à la datasheet ça sera surement du pur bullshit. Si tu lui donnes la datasheet en contexte, la même question te retournera quelque chose de bien plus proche de la réalité, peut-être même parfaitement correct. Pas parce que c'est ce qui est vrai (il peut toujours sortir du bullshit) mais parce que c'est cohérent avec le contexte donné avec la requête.

Une fois qu'on a compris ça, on a compris qu'il ne faut jamais faire aveuglément confiance à un LLM. Il faut soit lui demander des trucs où on se fiche de l'aspect véridique (e.g. role play, création d'histoire, etc.) soit lui demander des trucs dont on sait pertinement qu'on passera derrière pour vérifier (ou un tiers de confiance, genre une suite de tests valides pour du code généré par IA). On peut être surpris de voir quelque chose qui semble fonctionner à la perfection, mais on n'est jamais à l'abri d'un dérapage complet.

Tout comme AlphaGo est très bon pour jouer au Go, les LLM sont très bon pour générer du texte cohérent. Mais comme on ne demandera pas à AlphaGo d'expliquer ses coups, on ne demandera pas au LLM de dire des choses factuellement vraies. Il n'en sont juste pas capables car pas entraînés pour ça. La phase de fine tuning qui vient après l'apprentissage oriente le type de discours du LLM, mais ça ne corrige pas complètement ses lacunes fondamentales.

À voir ce qu'il en sera avec ce que Yann Lecun nous sortira.
4  0