Les résultats de l'examen du barreau montrent que l'IA peut rivaliser avec les "avocats humains"

GPT-4 un modèle d'IA a obtenu un score de 297 à l'examen du barreau aux USA

Les résultats de l'examen du barreau montrent que l'IA peut rivaliser avec les "avocats humains",
GPT-4 un modèle d'IA a obtenu un score de 297 à l'examen du barreau

Selon une nouvelle étude publiée mercredi, l'intelligence artificielle peut désormais surpasser la plupart des diplômés des facultés de droit à l'examen du barreau, l'épreuve éprouvante de deux jours que les aspirants avocats doivent passer pour pratiquer le droit aux États-Unis. GPT-4, le modèle d'intelligence artificielle amélioré publié cette semaine par OpenAI, soutenue par Microsoft, a obtenu un score de 297 à l'examen du barreau lors d'une expérience menée par deux professeurs de droit et deux employés de l'entreprise de technologie juridique Casetext. Ce résultat place le GPT-4 dans le 90e percentile des candidats à l'examen et est suffisant pour être admis à pratiquer le droit dans la plupart des États, selon les chercheurs.


L'examen du barreau évalue les connaissances et le raisonnement et comprend des essais et des tests de performance destinés à simuler le travail juridique, ainsi que des questions à choix multiples. « Les grands modèles de langage peuvent répondre aux normes appliquées aux avocats humains dans presque toutes les juridictions des États-Unis en s'attaquant à des tâches complexes nécessitant des connaissances juridiques approfondies, une compréhension de la lecture et une capacité d'écriture », écrivent les auteurs.

Il y a moins de quatre mois, deux des mêmes chercheurs ont conclu que le modèle de langage large d'OpenAI, ChatGPT, n'atteignait pas la note de passage à l'examen du barreau, soulignant ainsi la rapidité avec laquelle la technologie s'améliore. Le modèle GPT-4, plus récent, a réussi près de 76 % des questions à choix multiples de l'examen du barreau, contre environ 50 % pour le modèle ChatGPT, surpassant de plus de 7 % le candidat humain moyen.

La National Conference of Bar Examiners, qui conçoit la section des questions à choix multiples, a déclaré dans un communiqué mercredi que les avocats possèdent des compétences uniques acquises par l'éducation et l'expérience que « l'IA ne peut actuellement pas égaler ».

Le co-auteur de l'étude, Daniel Martin Katz, professeur au Chicago-Kent College of Law, a déclaré dans une interview qu'il avait été le plus surpris par la capacité du GPT-4 à produire des réponses largement pertinentes et cohérentes pour les essais et les tests de performance. J'ai entendu tant de gens dire : « Eh bien, il pourrait répondre aux questions à choix multiples, mais il ne répondra jamais aux questions de rédaction », a déclaré Katz.

L'IA a également obtenu de bons résultats à d'autres tests standardisés, notamment le SAT (Scholastic Assessment Test est un examen qui mesure vos compétences générales verbales en anglais et votre raisonnement mathématique) et le GRE ( Graduate Record Examination est un test en anglais créé et géré par l'entreprise ETS. Ce test est requis pour étudier dans la plupart des universités ou graduate schools dans des pays anglophones), mais c'est l'examen du barreau qui a suscité le plus d'intérêt. OpenAI a vanté son score de réussite lors de l'annonce de son dernier modèle mardi.

Sean Silverman, tuteur de l'examen du barreau, a attribué l'attention portée à l'examen du barreau à sa difficulté largement reconnue. Cette année, le taux de réussite à l'examen pour l'obtention d'une licence d'avocat était de 78 % chez les candidats ayant suivi trois années d'études de droit.

Selon Silverman, les gens seront peut-être moins impressionnés d'apprendre que l'intelligence artificielle peut réussir un examen conçu pour les lycéens, comme le SAT, « plutôt que l'examen pour devenir avocat ».

Source : Rapport de l’étude

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des résultats obtenus par GPT-4 à l'examen du barreau ?
Quels impacts ces modèles de langage pourraient-ils avoir sur le système judiciaire ?
À votre avis, les systèmes d'IA pourraient-ils remplacer les avocats et les juges dans les tribunaux ?

Voir aussi :

En remplaçant les avocats humains par l'IA, le système judiciaire chinois aurait économisé 45 Mds $ en frais entre 2019 et 2021, soit la moitié du total des honoraires des avocats en Chine en 2021

La France bannit les IA de prédiction des comportements des juges, les technologies de justice prédictive sont-elles une menace pour la société ?

Une intelligence artificielle peut-elle être un juge équitable dans un tribunal ? L'Estonie pense que oui

Intelligence artificielle : vingt avocats expérimentés se font battre par un algorithme lors d'un test de détection de problèmes juridiques