Les résultats de l'examen du barreau montrent que l'IA peut rivaliser avec les "avocats humains"
GPT-4 un modèle d'IA a obtenu un score de 297 à l'examen du barreau aux USA
Le 2023-03-16 10:22:57, par Nancy Rey, Expert éminent sénior
Selon une nouvelle étude publiée mercredi, l'intelligence artificielle peut désormais surpasser la plupart des diplômés des facultés de droit à l'examen du barreau, l'épreuve éprouvante de deux jours que les aspirants avocats doivent passer pour pratiquer le droit aux États-Unis. GPT-4, le modèle d'intelligence artificielle amélioré publié cette semaine par OpenAI, soutenue par Microsoft, a obtenu un score de 297 à l'examen du barreau lors d'une expérience menée par deux professeurs de droit et deux employés de l'entreprise de technologie juridique Casetext. Ce résultat place le GPT-4 dans le 90e percentile des candidats à l'examen et est suffisant pour être admis à pratiquer le droit dans la plupart des États, selon les chercheurs.
L'examen du barreau évalue les connaissances et le raisonnement et comprend des essais et des tests de performance destinés à simuler le travail juridique, ainsi que des questions à choix multiples. « Les grands modèles de langage peuvent répondre aux normes appliquées aux avocats humains dans presque toutes les juridictions des États-Unis en s'attaquant à des tâches complexes nécessitant des connaissances juridiques approfondies, une compréhension de la lecture et une capacité d'écriture », écrivent les auteurs.
Il y a moins de quatre mois, deux des mêmes chercheurs ont conclu que le modèle de langage large d'OpenAI, ChatGPT, n'atteignait pas la note de passage à l'examen du barreau, soulignant ainsi la rapidité avec laquelle la technologie s'améliore. Le modèle GPT-4, plus récent, a réussi près de 76 % des questions à choix multiples de l'examen du barreau, contre environ 50 % pour le modèle ChatGPT, surpassant de plus de 7 % le candidat humain moyen.
La National Conference of Bar Examiners, qui conçoit la section des questions à choix multiples, a déclaré dans un communiqué mercredi que les avocats possèdent des compétences uniques acquises par l'éducation et l'expérience que « l'IA ne peut actuellement pas égaler ».
Le co-auteur de l'étude, Daniel Martin Katz, professeur au Chicago-Kent College of Law, a déclaré dans une interview qu'il avait été le plus surpris par la capacité du GPT-4 à produire des réponses largement pertinentes et cohérentes pour les essais et les tests de performance. J'ai entendu tant de gens dire : « Eh bien, il pourrait répondre aux questions à choix multiples, mais il ne répondra jamais aux questions de rédaction », a déclaré Katz.
L'IA a également obtenu de bons résultats à d'autres tests standardisés, notamment le SAT (Scholastic Assessment Test est un examen qui mesure vos compétences générales verbales en anglais et votre raisonnement mathématique) et le GRE ( Graduate Record Examination est un test en anglais créé et géré par l'entreprise ETS. Ce test est requis pour étudier dans la plupart des universités ou graduate schools dans des pays anglophones), mais c'est l'examen du barreau qui a suscité le plus d'intérêt. OpenAI a vanté son score de réussite lors de l'annonce de son dernier modèle mardi.
Sean Silverman, tuteur de l'examen du barreau, a attribué l'attention portée à l'examen du barreau à sa difficulté largement reconnue. Cette année, le taux de réussite à l'examen pour l'obtention d'une licence d'avocat était de 78 % chez les candidats ayant suivi trois années d'études de droit.
Selon Silverman, les gens seront peut-être moins impressionnés d'apprendre que l'intelligence artificielle peut réussir un examen conçu pour les lycéens, comme le SAT, « plutôt que l'examen pour devenir avocat ».
Source : Rapport de l’étude
Et vous ?
Quel est votre avis sur le sujet ?
Que pensez-vous des résultats obtenus par GPT-4 à l'examen du barreau ?
Quels impacts ces modèles de langage pourraient-ils avoir sur le système judiciaire ?
À votre avis, les systèmes d'IA pourraient-ils remplacer les avocats et les juges dans les tribunaux ?
Voir aussi :
En remplaçant les avocats humains par l'IA, le système judiciaire chinois aurait économisé 45 Mds $ en frais entre 2019 et 2021, soit la moitié du total des honoraires des avocats en Chine en 2021
La France bannit les IA de prédiction des comportements des juges, les technologies de justice prédictive sont-elles une menace pour la société ?
Une intelligence artificielle peut-elle être un juge équitable dans un tribunal ? L'Estonie pense que oui
Intelligence artificielle : vingt avocats expérimentés se font battre par un algorithme lors d'un test de détection de problèmes juridiques
L'examen du barreau évalue les connaissances et le raisonnement et comprend des essais et des tests de performance destinés à simuler le travail juridique, ainsi que des questions à choix multiples. « Les grands modèles de langage peuvent répondre aux normes appliquées aux avocats humains dans presque toutes les juridictions des États-Unis en s'attaquant à des tâches complexes nécessitant des connaissances juridiques approfondies, une compréhension de la lecture et une capacité d'écriture », écrivent les auteurs.
Il y a moins de quatre mois, deux des mêmes chercheurs ont conclu que le modèle de langage large d'OpenAI, ChatGPT, n'atteignait pas la note de passage à l'examen du barreau, soulignant ainsi la rapidité avec laquelle la technologie s'améliore. Le modèle GPT-4, plus récent, a réussi près de 76 % des questions à choix multiples de l'examen du barreau, contre environ 50 % pour le modèle ChatGPT, surpassant de plus de 7 % le candidat humain moyen.
La National Conference of Bar Examiners, qui conçoit la section des questions à choix multiples, a déclaré dans un communiqué mercredi que les avocats possèdent des compétences uniques acquises par l'éducation et l'expérience que « l'IA ne peut actuellement pas égaler ».
Le co-auteur de l'étude, Daniel Martin Katz, professeur au Chicago-Kent College of Law, a déclaré dans une interview qu'il avait été le plus surpris par la capacité du GPT-4 à produire des réponses largement pertinentes et cohérentes pour les essais et les tests de performance. J'ai entendu tant de gens dire : « Eh bien, il pourrait répondre aux questions à choix multiples, mais il ne répondra jamais aux questions de rédaction », a déclaré Katz.
L'IA a également obtenu de bons résultats à d'autres tests standardisés, notamment le SAT (Scholastic Assessment Test est un examen qui mesure vos compétences générales verbales en anglais et votre raisonnement mathématique) et le GRE ( Graduate Record Examination est un test en anglais créé et géré par l'entreprise ETS. Ce test est requis pour étudier dans la plupart des universités ou graduate schools dans des pays anglophones), mais c'est l'examen du barreau qui a suscité le plus d'intérêt. OpenAI a vanté son score de réussite lors de l'annonce de son dernier modèle mardi.
Sean Silverman, tuteur de l'examen du barreau, a attribué l'attention portée à l'examen du barreau à sa difficulté largement reconnue. Cette année, le taux de réussite à l'examen pour l'obtention d'une licence d'avocat était de 78 % chez les candidats ayant suivi trois années d'études de droit.
Selon Silverman, les gens seront peut-être moins impressionnés d'apprendre que l'intelligence artificielle peut réussir un examen conçu pour les lycéens, comme le SAT, « plutôt que l'examen pour devenir avocat ».
Source : Rapport de l’étude
Et vous ?
Voir aussi :
-
schlebeMembre actifLa moindre des choses à exiger des articles publiés par ChatGPT et qu'il les signe afin de permettre aux lecteurs de connaître la véritable source des articles.
Il faudrait également sanctionner les sociétés qui publient des articles générés par ChatGPT avec du contenus inventés ou mensongers.
Une amende de 2% du chiffre d'affaire par articles mensongers publiés et une amende de 2% du chiffre d'affaire par jour et par articles mensongers constatés et toujours publiés plus d'une semaine après le constat.
Dans moins d'un mois, on ne parlera plus de ChatGPT de la même façon et il faudra engager du personnel pour vérifier tout ce qu'il aura écrit.le 08/06/2023 à 19:26 -
walfratMembre émérite"Hey chatGPT, voilà toutes les donneés confidentielles économiques de mon entreprises, fait moi le rapport financier stp, j'ai la flème".le 07/04/2023 à 9:55
-
Jon ShannowMembre extrêmement actifHeu ! Tu as des infos la dessus ? Non seulement sur la préparation, mais aussi la faisabilité...le 09/06/2023 à 14:59
-
totozorMembre expertC'est pas marrant d'être sans emploi dans un système capitaliste.
Que se passerait il si les gens n'avaient plus besoin de se salarier pour vivre?
La plupart travailleraient.
Par exemple que font les retraités qui ont la santé?
Il s'investissent dans les associations, ils gardent leurs petits enfants, ils investissent dans leur quartier, ils s'entreaident etc.
(Et ceux qui revaient d'être rentiers partent en voyage)
Pourquoi ceci n'est pas souhaitable?
Comment nos dirigeants s'assureraient d'avoir de la main d'oeuvre (au sens large)?
Bernard Arnault perdrait "de la valeur" (je ne dit pas qu'il n'en aurait plus) et Gérard l'éboueur, Géraldine l'aide soignante, Marcel le passionné d'astronomie en gagneraient
Oui le monde que je décrit est peut être idéaliste mais il y a des faisceau de pistes qui suggèrent que c'est viable
Et ce n'est qu'un monde à envisager parmi d'autres
Celui dans lequel on vit ne semble pas viable pour la majorité.le 09/06/2023 à 15:48 -
e-ricMembre expertSalut à tous
Ok pour l'estimation, mais le vrai de problème est de savoir qui va capter tout cet argent. Perso, je pense que cela ne va pas ruisseler et que bien au contraire, cela va mettre beaucoup de gens (comme nous) sur la paille.
tchüssle 16/06/2023 à 9:42 -
petitoursMembre chevronnéUne fois que l'on a compris que ChatGPT n'est qu'un agent conversationnel on peut le trouver super.
Dans le détail ça ne vaut pas plus qu'une discussion de lundi matin à la machine à café basée sur le fait qu'il faut absolument dire un truc et où le plus bavard, ici chatGPT, va absolument avoir un anecdote et répondre un truc quel que soit le sujet.
J'ai testé, longuement, et reçu des réponses régulièrement débiles.
Aujourd'hui je ne l'utilise que sur des sujets que je connais très bien pour voir ce qu'il me répond, notamment dans le cadre d'enseignements que je donne pour voir ce que mes étudiants vont avoir comme informations en passant par lui. Ce qu'il raconte est au mieux très vague, au pire profondément faux, souvent parce que révélant des mauvaises pratiques.
Cette médiocrité de l'information est à mon sens le plus négatif, sans doute basée sur le volume de données qu'il va chercher copieusement "enrichies" par des forums, blogs ou autres écrits par des non spécialistes.
Le fait qu'il fouine partout et utilise des données personnelles ou viole les droits des auteurs est un autre problème majeur mais personnellement je le le mettrait en 2, après celui de donner des informations fausses ou médiocres qui tirent vers le bas celui qui pose la question.le 31/01/2024 à 8:42 -
kain_tnExpert éminentSi les champions des moteurs de recherche se lancent dans ce genre de bot, c'est parce qu'ils ont tout à y gagner niveau collecte des données.
On a essayé de nous pousser du metavers partout, et ça n'a pas vraiment pris. Là, ils ont trouvé comment collecter plus de données en exploitant la curiosité et/ou la paresse des gensle 28/03/2023 à 20:49 -
chrtopheResponsable SystèmesPas d'emploi => Pas de revenu
Pas de revenu => Pas d'impôt
Pas d'impôt => Pas de service public
Je modifierais par :
Pas d'emploi => Pas de revenu
Pas de revenu => Pas de quoi acheter les produits des entreprises => pas de revenus pour les entreprises
pas de revenus ni d'entreprises, ni de particuliers=> pas d"impôts => pas de services publics
en gros effondrement de notre modèle.
Postulons que le revenu universel pourrait être la solution : comment le financer ? Le seul financement viable que je vois c'est par les entreprises, et éventuellement par les personnes qui continueront à travailler en plus du revenu universel. Mais si ce qu'ils gagnent est taxé à 80% pour financer le système, quel est l’intérêt de travailler ? Les entreprises manqueront alors de personnel, et devront donc payer leur salariés chers, et payer des taxes encore plus lourdes, charges qui seront répercutées sur le prix des produits, rendant du coup le revenu universel insuffisant pour pouvoir les acheter.
Parade au problème : le blocage des prix. Les entreprises iront alors vendre ceux-ci ailleurs provoquant des pénuries, c'est ce qui se passe actuellement avec les médicaments.
Avoir un vrai revenu universel implique une non d'obligation de travailler, donc travailler doit réellement apporter quelque chose : argent , épanouissement, occupation, lien social, activités, en dehors de l'aspect financier, pouvant être réalisé dans le cadre associatif par exemple, pouvant apporter à la société et étant plus pertinent qu'un travail pour plein de gens. Comment viabiliser le truc ? Il faudrait déjà calculer le besoin de financement de ce revenu universel et ensuite voir comment le financer. Perso je passe mon tour, de toute façon je ne serais pas écouté.
Si de toute façon les gens n'ont plus de travail, une économie parallèle se généralisera je pense.le 09/06/2023 à 13:53 -
xavier-PierreMembre éclairéSelon une nouvelle étude menée par des chercheurs de Stanford, les étudiants en médecine de première et de deuxième année peuvent obtenir de meilleurs résultats que les étudiants en médecinele 21/07/2023 à 8:10
-
calvaireExpert confirménon, le full remote n'a jamais été l'avenir.
c'est le travail hybride qui était l'avenir et clairement ca prends, je trouve aucune boite en it qui impose du 100% en présentiel (et heureusement sinon ils trouverait personne), c'est 2-3j de télétravail/semaines.
capgemini (la plus grosse esn) c'est 4 jours de télétravail/semaines par exemple.
tu raisonnes en mode "l'état me le finance gratos ou hj'ai les moyens de me le payer"
dans les pays anglo-saxons, les populations s'appauvrisses avec l'inflation, ils a des grande coupe budgétaire à faire. éduquer ces enfants par chatgpt et se faire soigner par chatgpt c'est leurs seul solution pour survivre hélas.
dans les pays disons plus "socialiste" comme la France, les gens sont pauvres aussi mais peuvent encore avoir accès a ces services gratos. Mais la dette explose et quand faudra la rembourser, l'état va devoir bien tailler dans les dépenses, donc les flics ce seront des drones de combats autonomes, les profs remplacer par des bots et les docteurs (y'a déjà une pénurie) remplacer par chatgpt.
Faut bien payer la dette.
les pays comme la Roumanie, la France leurs volent leurs médecins, eux n'ont donc plus le choix c'est chatgpt ou crève.
La 5G ou les voitures électriques sont des fiascos industriels car les gens n'ont pas les moyens de se payer ces technos. Je me demande qui va acheter les batteries qu'ils vont produire dans le nord. La moyenne d'âge pour l'achat une voiture neuve en france c'est...57ans
donc la relance par l'industrie c'est juste une grosse blague.
et en 2027 ce sera la taxe carbone ne qui va venir (450€/ans)
donc les gens n'ont plus les moyens d'aller voir un médecin, de se payer un avocat ou d'aller a l'école, aujourd'hui beaucoup de francais peuvent juste acheter des pates le soir (le midi ils sautent le repas) pour se nourrir et acheter une tablette wiko pour lancer chatgpt pour s'instruire et se soigner.
C'est extrême ce que je dis mais lentement et surement on y va. Actuellement l'état est tellement dans la merde niveau finance qu'il en est a réfléchir a devenir copropriétaire de tous les bien immobilier de France pour déduire la dette. Donc de t'expropriée à terme.
Les entreprises doivent absolument alimenter la croissance pour les actionnaires, a n'importe quel prix, donc licenciements massifs obligatoire, même si la qualité est mauvaise.le 07/06/2023 à 9:40