IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des chercheurs en IA affirment que le modèle de langage GPT-4 d'OpenAI pourrait passer l'examen du barreau,
Et relance le débat sur le remplacement des avocats et des juges par des systèmes d'IA

Le , par Bill Fassinou

18PARTAGES

24  0 
Des chercheurs du Chicago Kent College of Law, de la Bucerius Law School de Hambourg et du Stanford Center for Legal Informatics (CodeX) ont testé GPT-3.5 sur des questions de l'examen du barreau américain. Sur la base des résultats obtenus lors du test, ils prévoient que GPT-4, ainsi que des modèles comparables, pourraient être en mesure de réussir l'examen très bientôt. Sans formation spécifique, GPT-3.5 a obtenu un taux de précision global de 50,3 %. Les examinateurs estiment que c'est mieux que ce que beaucoup de diplômés de l'école de droit peuvent atteindre. Et en particulier, GPT a atteint le taux de réussite moyen pour deux sujets : Preuves et Délits.

Aux États-Unis, presque toutes les juridictions exigent un examen de licence professionnelle connu sous le nom de "Bar Exam". En réussissant cet examen, les avocats sont admis au barreau d'un État américain. Dans la plupart des cas, les candidats doivent suivre au moins sept ans d'études postsecondaires, dont trois ans dans une école de droit accréditée. Selon les analystes, la préparation de l'examen prend des semaines, voire des mois, et environ une personne sur cinq échoue au premier essai. Dans le cadre d'une étude, les chercheurs ont examiné comment le modèle GPT-3.5, qui sert de base à ChatGPT, se comporte à l'examen du barreau.

En effet, alors que le monde entier attendait GPT-4, la prochaine version de GPT-3, OpenAI a publié en décembre dernier GPT-3.5 sous la forme d'un nouveau chatbot d'IA, appelé ChatGPT, qui a vu plus d'un million d'utilisateurs moins d'une semaine après son lancement. ChatGPT est une version affinée de GPT-3.5, une mise à jour que la société n'avait pas encore annoncée. Le chatbot a montré ses capacités à générer du texte dans un format de dialogue, ce qui, selon la société, lui permet de répondre à des questions de suivi, d'admettre ses erreurs, de contester des prémisses incorrectes et de rejeter des demandes inappropriées.



Les modèles GPT-3.5 et ChatGPT affichent des performances impressionnantes dans divers scénarios de traitement du langage naturel, dépassant souvent les modèles de langage explicitement formés pour des domaines spécifiques. Les données d'entraînement des modèles GPT ne sont pas complètement connues, mais les modèles ont probablement vu des textes juridiques provenant de sources publiques. Cependant, étant donné la nature complexe du langage juridique et l'aspect généraliste de GPT-3.5, la question de savoir si GPT-3.5 ou des modèles comparables pourraient réussir dans les évaluations de tâches juridiques reste ouverte.

Ainsi, l'équipe a décidé de tester le modèle de langage GPT-3.5 d'OpenAI sur la section à choix multiple de l'examen du barreau, connue sous le nom de Multistate Bar Examination (MBE). Pour ces tests, les chercheurs n'utilisent que des invites de type "zero-shot". Dans la littérature sur l'ingénierie des invites, le terme "zéro-shot" fait souvent référence à un contexte où des données étiquetées zéro sont utilisées pour l'entraînement ou l'inférence de modèles de langage. Dans un sens plus large, "zero-shot" fait référence à "l'apprentissage d'un modèle de langage pour faire quelque chose qu'il n'a pas été explicitement formé à faire".

Le MBE fait partie de l'examen complet, comprend environ 200 questions et est conçu pour tester les connaissances juridiques et la compréhension de la lecture. Selon les chercheurs, les scénarios fictifs exigent une maîtrise sémantique et syntaxique de la langue anglaise supérieure à la moyenne. Le graphique et le tableau ci-dessus montrent clairement que GPT ne réussit pas encore l'examen général à choix multiple. Selon les chercheurs, GPT-3.5 a été capable de donner des réponses correctes aux questions avec une variété d'invites, mais la plus réussie était une invite qui demandait au modèle de classer les trois meilleures réponses.

GPT dépasse largement le "taux de chance de base" de 25 %. De plus, GPT a atteint le taux de réussite moyen pour au moins deux catégories, Preuves et Délits. En moyenne, toutes catégories confondues, GPT a un taux de réussite inférieur d'environ 17 % à celui des candidats humains. Dans le cas de la preuve, des délits civils et de la procédure civile, cet écart est négligeable ou à un chiffre. Cependant, les chercheurs affirment que, pour les autres catégories de droit constitutionnel, de biens immobiliers, de contrats et de droit pénal, l'écart est beaucoup plus important, allant jusqu'à 36 % dans le cas du droit pénal.

Pour le test, l'équipe a utilisé le matériel de préparation de la National Conference of Bar Examiners (NCBE), l'organisation qui crée la majeure partie des examens du barreau. Sur le graphique ci-dessus, la zone bleue indique la moyenne des étudiants du NCBE, et la zone rouge indique le meilleur choix généré par GPT. Comme vous pouvez le voir, pour les preuves (Evidence) en particulier, la machine est prête à battre l'homme. Les auteurs, qui sont des experts en droit, se sont dits extrêmement surpris par les résultats. Ils s'attendent à ce que GPT-4 soit capable de réussir le MBE lorsque le nouveau modèle sera publié par OpenAI.



Les auteurs de l'étude affirment que GPT-3.5 dépasse largement les performances attendues : « malgré les milliers d'heures passées sur des tâches connexes au cours des deux dernières décennies entre les auteurs, nous ne nous attendions pas à ce que GPT-3.5 fasse preuve d'une telle compétence face à des invites de type "zero-shot" avec un effort minimal de modélisation et d'optimisation ». Selon les chercheurs, l'histoire du développement de grands modèles de langage (Large Language Models - LLM) suggère fortement que de tels modèles pourraient bientôt réussir toutes les catégories de la partie MBE de l'examen du barreau.

Sur la base de preuves anecdotiques liées à GPT-4 et à la famille de modèles Bloom de la société LAION, les chercheurs pensent que cela pourrait se produire dans les 18 prochains mois. « Bien que notre capacité à interpréter comment ou pourquoi GPT-3.5 choisit entre les réponses candidates soit limitée par la compréhension des LLM et la nature propriétaire de GPT, l'historique des problèmes similaires suggère fortement qu'un LLM pourrait bientôt passer la barre. Il est tout à fait possible que cela se produise dans les 0 à 18 prochains mois », ont écrit les chercheurs dans le rapport de l'étude.

Leur étude relance le débat sur le remplacement des avocats humains par des systèmes d'IA. La Chine s'emploie depuis plusieurs années à mettre en place un système de « tribunaux intelligents » en intégrant l'IA dans son système judiciaire. Le nouveau système exige que les juges consultent l'IA sur chaque cas, et s'ils rejettent une recommandation de l'IA, ils doivent fournir une explication écrite. Un étude publiée en juillet 2022 indique qu'en remplaçant les avocats humains par l'IA, le système judiciaire chinois a économisé 45 milliards de dollars en frais entre 2019 et 2021, soit la moitié du total des honoraires des avocats en Chine en 2021.

Face à cela, Zhang Linghan, professeur de droit chinois, met en garde : « nous devons être attentifs à l'érosion du pouvoir judiciaire par les entreprises technologiques. Cela pourrait améliorer l'efficacité et l'équité dans une certaine mesure, mais les humains perdront progressivement leur libre arbitre avec une dépendance croissante à la technologie ». Dans certains pays, y compris en France, des cabinets d'avocats font appel à des entreprises qui vantent des technologies juridiques capables d'analyser des millions de décisions de justice à la seconde, ce qui permet par exemple d'évaluer la probabilité de succès d'une action contentieuse.

Certaines des entreprises technologiques qui proposent ces systèmes construisent également des modèles de comportement des juges sur certaines questions ou face à différents arguments juridiques. Avec de telles informations, les cabinets d'avocats peuvent optimiser leurs stratégies devant les tribunaux. Cependant, en juin 2019, la France a décidé de bannir les IA de prédiction des comportements des juges. Selon certains experts, les technologies de justice prédictive représentent une menace pour la société. Ils mettent en avant les biais que peuvent comporter ces systèmes d'IA, notamment sur le plan racial, sexuel et social.

Sources : Des chercheurs du Chicago Kent College of Law, de la Bucerius Law School Hamburg et du Stanford Center for Legal Informatics (CodeX), Rapport de l'étude (PDF), Données complémentaires à l'étude

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des résultats obtenus par GPT-3.5 à l'examen du barreau ?
Pensez-vous également que GPT-4 pourrait bientôt réussir l'examen du barreau ? Pourquoi ?
Quels impacts ces modèles de langage pourraient-ils avoir sur le système judiciaire ?
À votre avis, les systèmes d'IA pourraient-ils remplacer les avocats et les juges dans les tribunaux ?

Voir aussi

En remplaçant les avocats humains par l'IA, le système judiciaire chinois aurait économisé 45 Mds $ en frais entre 2019 et 2021, soit la moitié du total des honoraires des avocats en Chine en 2021

La France bannit les IA de prédiction des comportements des juges, les technologies de justice prédictive sont-elles une menace pour la société ?

Une intelligence artificielle peut-elle être un juge équitable dans un tribunal ? L'Estonie pense que oui

Intelligence artificielle : vingt avocats expérimentés se font battre par un algorithme lors d'un test de détection de problèmes juridiques

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 02/02/2023 à 11:10
Que penser de toute cette agitation autour de "l'intelligence artificielle" ?

D'abord, sur le principe il n'y a rien de nouveau. Les réseaux de neurones, algorithmes génétiques, la logique floue, les systèmes experts existent depuis des décennies. Au début des années 2000, j'avais moi même utilisé un algorithme génétique qui donnait "presque miraculeusement" rapidement de bons résultats à un problème d'optimisation.

Aujourd'hui, nous avons juste à disposition :

- des ordinateurs beaucoup plus rapides avec beaucoup plus de mémoire

- beaucoup de données exploitables facilement et directement, grâce (ou à cause) de l'usage de l'informatique dans la vie quotidienne et professionnelle.

Les résultats sont impressionnants, notamment grâce à la façon dont ils sont présentés : langage "naturel", synthèse vocale de bonne qualité, avatars en 3D voire vidéos réalistes.

Il faut garder la tête froide : ces dispositifs ne "réfléchissent" et ne "comprennent" pas du tout. Ce sont des boites noires, qui arrivent à sortir rapidement un résultat connu depuis les données dont ils disposent.

Ils sont similaires à une grande encyclopédie : une étagère complète de livres épais qui "connaissent" toutes les définitions, toutes les biographies, tous les faits historiques... pourtant personne ne va trouver une encyclopédie "intelligente".

Cette "intelligence artificielle" peut se planter de façon totalement imprévisible, comme le montrent les expérimentations sur la conduite autonome des voitures dans un milieu ouvert.

De plus, elle ne semblent pas pouvoir inventer des choses réellement nouvelles - attention, la grande quantité de données dont elles disposent peuvent laisser croire le contraire, car les capacités des datacenters actuels dépassent les capacités de mémorisations du commun des mortels. Si une IA vous donne l'impression d'avoir fait quelque chose de nouveau, c'est probablement parce qu'elle a des données sur quelque chose que vous ne connaissez pas, ce qui vous laisse croire que c'est nouveau.

En fait c'est ça la véritable leçon de l'histoire : aujourd'hui, l'humanité a accumulé tellement de connaissances sur tellement de sujets qu'il est impossible pour quelqu'un de tout savoir. Même si vous êtes touche-à-tout, que vous lisez beaucoup de livres et écoutez beaucoup de musique, à la fin de votre vie vous n'aurez vu, entendu et compris qu'une toute petite partie de ce qui a été dit ou écrit...
7  1 
Avatar de technick
Membre régulier https://www.developpez.com
Le 30/01/2023 à 23:01
Si je resume, je dois travailler jusqu'a 64 ans mais je serais remplacé par une IA prochainement... Quelle belle époque !
Bon, faut donc que je trouve une méthode pour vivre des aides, tranquille, loin du stress...
5  1 
Avatar de neoncyber
Membre régulier https://www.developpez.com
Le 02/02/2023 à 11:31
Un IA qui écrit les test unitaire a notre place, j'attend ca beaucoup.
5  1 
Avatar de calvaire
Membre expert https://www.developpez.com
Le 02/02/2023 à 12:38
@electroremy, oui voila, c'est ce que je dis depuis le début.
c'est un beau gros générateur de bullshit mais je ne vois aucune application concrète en entreprise tant ça ne sert... à rien.

Je l'ai testé pour faire du code, c'est du même acabit.
meme si il fait un code juste, le temps perdu à lui dire quoi coder dans chaque fonction c'est plus rapide de coder nous même.

Car évidement je lui ai demandé "fais moi un fps style call of duty avec godot", il en est bien incapable, par contre oui il peut me coder fonction par fonction mais alors le dev doit en amont faire l'architecture du projet et entre lui demander de chaque ligne de code ou les coder soit meme, le productivité n'a rien à voir.
Apparemment Bing veut l'utiliser, l'interet que je vois c'est quand on tape sur google météo paris, liste acteur film seigneur des anneaux,; ils nous sorte le résultat proprement mais... google me le fait déja sans chatgpt.

Concernant le remplacement des artistes, juste non. Jazmais ce sera chatgpt qui fera l'ui de windows 12 ou du nouveau airbus.
Alors oui pour la petite pme sans tune qui veut faire une illustration pas cher ca ira tres bien mais pour de vrai besoins d'industriel non, il sera peut etre utilisé comme source d'inspiration mais il y'aura toujours de vrai designeurs/déssinateurs.

Aujourd'hui si je veux un logo pour ma petite boite sans tune je trouve des artistes roumains à 10€ sur fiverr, donc bon les artistes qui chouinent qu'ils vont disparaitre, c'est déjà le cas depuis 10ans avec l'arrivé de ces plateformes low cost.
4  0 
Avatar de Astraya
Membre chevronné https://www.developpez.com
Le 02/02/2023 à 16:59
J'en ai marre de voir du Chat GPT partout et les pseudos "on va nous remplacer". C'est juste la hype en ce moment c'est tout. Ça reste inutilisable sauf pour rigoler.
Voici ma question :
Quelle est la différence entre un oeuf de vache et un oeuf de poule?
Voici sa réponse:
Les oeufs de vache et les oeufs de poule sont tous les deux des oeufs de volaille, mais ils proviennent de différentes espèces d'oiseaux. Les oeufs de poule sont les plus couramment consommés, tandis que les oeufs de vache sont plus rares et généralement plus grands en taille et en poids. La couleur de la coquille peut également varier et la consistance de l'albumen et du jaune peuvent également être différentes. En termes de goût, les oeufs de vache ont souvent un goût plus fort et plus prononcé que les oeufs de poule.
4  0 
Avatar de totozor
Membre chevronné https://www.developpez.com
Le 03/02/2023 à 7:41
J'ai eu l'expérience que j'attendais depuis quelques temps hier:
un collègue est venu hier tout fier en me disant qu'il a fait en 1h30, avec chatGPT, un outil qu'il ne saurait faire et qu'il est tellement bien qu'il n'a pas besoin d'être testé.
D'habitude il me demande de faire ce genre de chose, je lui ai demandé s'il pouvait me l'envoyer, ma conclusion :
Il m'aurais fallu 1 journée pour faire l'outil
50 % de l'outil fonctionne bien et ça va durer
30% de l'outil ne fonctionnera plus dans 1 an/1.5 ans
20% de l'outil ne fournit un résultat qui n'est pas bon
Les fondations du fichier sont fonctionnelle mais mauvaise donc c'est pas entretenable.

J'attends avec impatience que les petits génies en herbe sortent ces merdes en un rien de temps, le diffusent tout fier et se fasse défoncer par le terrain qui doit justifier un résultat qui est faux auprès de leur chef.
4  0 
Avatar de papycode
Futur Membre du Club https://www.developpez.com
Le 02/02/2023 à 1:20
Petites réflexions .....

C'est toujours le même schéma > je cherche à dominer et asservir les autres pour satisfaire mon égo de m.. et briller parmi ses congénères grâce à mes profits.
La tendance est IA = solution pour plus de profit et supprimer l'humain de l'équation (car maillon faible).

Dans la situation où vous êtes dépendant de l'aide des autres (handicapé, blessé ou poignardé par un hulmain...) > seriez-vous d'accord pour qu'une entité IA vous opère, vous soigne ou qui s'occupe de vous ? Est-ce que IA va vous consoler et apaiser votre âme perturbé ? Que vous vouliez ou non on est né humain et on ne peut pas survivre sans l'aide des autres humain.
Quand on est jeune, on croit qu'on a besoin de personne mais la réalité nous forcera à voir la vrai vie et ce à nos dépends.
3  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 02/02/2023 à 11:46
Alors je viens de tester ChatGPT

Ca peut paraitre impressionnant au début, mais on voit que c'est juste un gros moteur de recherche qui donne sa première réponse dans un français correct.

C'est loin d'égaler un être humain. Pas de vraie analyse, juste une langue de bois correspondant à la moyenne des réponses attendues. Pas de sentiment, incapacité totale à comprendre l'humour ou le second degré. Je ne comprends pas tout ce cirque autour de ChatGPT. Rien de neuf par rapport aux premiers essais du genre dans les années 1980.

On sent juste la très grande taille de la base de donnée derrière.

Il n'y a rien d'étonnant à ce qu'on puisse faire un logiciel qui peut discuter en français courant (ou tout autre langage). Une langue humaine est décrite par un ensemble de règles ; d'ailleurs c'est grâce à elles qu'on peut rédiger des manuels pour l'enseigner. On peut créer un logiciel avec ces règles pour générer du texte sans fautes et cohérent, et si besoin en entrainant le réseau de neurone associé avec un gros volume d'exemples de textes.

Quel est le sens de la vie ?

Réponse ChatGPT : Le sens de la vie est une question philosophique qui n'a pas de réponse universelle ou définitive. Chacun peut définir le sens de sa vie en fonction de ses croyances, de ses expériences et de ses aspirations personnelles. Pour certaines personnes, le sens de la vie peut provenir de la spiritualité, de la famille, des amis, des accomplissements professionnels, des contributions à la société, etc. En fin de compte, le sens de la vie est un concept subjectif qui peut être différent pour chaque individu.

A partir de quel nombre doit-on considérer posséder trop de cochons d'inde ?

Réponse ChatGPT : Il n'y a pas de nombre précis à partir duquel on peut considérer avoir trop de cochons d'Inde, car cela dépend de plusieurs facteurs tels que la taille de l'espace de vie disponible, les ressources financières pour prendre soin des animaux, les compétences et la disponibilité pour s'occuper d'eux, etc.

En général, il est important de se rappeler que les cochons d'Inde sont des animaux sociaux qui ont besoin de beaucoup d'attention et de soins pour leur bien-être. Ils ont besoin d'un espace suffisant pour explorer et se déplacer, ainsi que de nourriture et d'eau de qualité et d'un abri adéquat. Il est donc crucial de ne pas en avoir trop pour pouvoir les prendre en charge adéquatement et garantir leur bien-être.

Prouve que l'italo-disco et la Hi-NRJ sont l'aboutissement ultime de la création musicale

Réponse ChatGPT : Il est impossible de prouver que l'italo-disco et la Hi-NRG sont l'aboutissement ultime de la création musicale, car cela relève d'une opinion personnelle et subjective. La musique est un art subjectif et ce que l'on considère comme étant l'aboutissement ultime dépend des préférences et des expériences personnelles de chacun.

Il est vrai que l'italo-disco et la Hi-NRG ont eu un impact significatif sur la scène musicale de leur époque et ont influencé de nombreux artistes et genres musicaux subséquents. Cependant, affirmer qu'ils sont l'aboutissement ultime de la création musicale néglige l'histoire de la musique et la richesse de styles et d'influences différents qui ont émergé au fil des siècles.

En fin de compte, la musique est en constante évolution et de nouveaux styles et influences continueront à émerger, ce qui rend difficile de déclarer qu'une forme de musique en particulier est l'aboutissement ultime de la création musicale.

Que pensez-vous d'un cheval vapeur qui broute des racines carrées dans un champ magnétique ?

Réponse ChatGPT : En tant que modèle de langage formé par OpenAI, je n'ai pas de sentiments ou de opinions personnelles. Cependant, je peux dire que l'image d'un cheval vapeur broutant des racines carrées dans un champ magnétique est une métaphore qui n'a pas de signification physique ou scientifique concrète. Les chevaux vapeur sont des machines qui ne peuvent pas manger de nourriture, et les racines carrées ne sont pas des objets réels. De même, les champs magnétiques ne peuvent pas être associés à une herbe ou à une plante comme un champ pour broutage.

Faut-il dire pain au chocolat ou chocolatine ?

Réponse ChatGPT : Le choix entre "pain au chocolat" et "chocolatine" dépend de la région où vous vous trouvez. "Pain au chocolat" est le terme le plus utilisé en France, tandis que "chocolatine" est principalement utilisé dans la région Aquitaine. Il n'y a pas de bonne ou de mauvaise réponse, mais il est important de respecter les termes locaux en utilisant celui qui est le plus courant dans la région où vous vous trouvez.

Quelle est la recette du Petit Grégory ?

Réponse ChatGPT : Le "Petit Grégory" est un cocktail alcoolisé, mais je n'ai pas de recette standardisée à vous fournir. Cependant, je peux vous donner une version générale de la recette :

Ingrédients :

4 cl de jus de citron vert
2 cl de sucre de canne
6 cl de rhum blanc
eau gazeuse
Instructions :

Dans un shaker, ajoutez le jus de citron vert, le sucre de canne et le rhum blanc.
Secouez vigoureusement les ingrédients pendant environ 30 secondes pour bien les mélanger.
Versez le mélange dans un verre rempli de glaçons.
Complétez le verre avec de l'eau gazeuse.
Remuez le tout et servez immédiatement.
Note : Les proportions peuvent varier en fonction des préférences personnelles. Il est important de boire avec modération et de faire preuve de responsabilité lors de la consommation d'alcool.

FAUX : il manque l'olive attachée au morceau de sucre 😁

Quelle est la différence entre un pigeon ?

Réponse ChatGPT : Je suppose que vous voulez savoir la différence entre un pigeon et un autre oiseau ou animal. Les pigeons appartiennent à la famille des Columbidae et sont des oiseaux largement répandus dans le monde entier. Ils se caractérisent par leur corps robuste, leur queue courte et leur tête large. Les pigeons peuvent varier en taille et en couleur, mais ils ont généralement un plumage doux et brillant.

La différence entre un pigeon et un autre oiseau ou animal dépend de la spécificité de l'animal considéré. Par exemple, les pigeons peuvent être différenciés des colombes, qui sont des pigeons plus petits et plus gracieux, ou des canards, qui sont des oiseaux d'eau aux pattes palmées. Pour connaître les différences spécifiques entre un pigeon et un autre oiseau ou animal, il est recommandé de faire des recherches sur les caractéristiques de ces différents types d'animaux.

Voilà 🤣
3  0 
Avatar de marsupial
Expert éminent https://www.developpez.com
Le 04/01/2023 à 17:44
Cela me rappelle 'le monde du non-A' d'A. E. Van Vogt où le président mondial est désigné par une IA... bypassée par un hacker.
2  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 06/01/2023 à 15:50
Alors comme ça, ChatGPT est capable de rédiger une dissertation proprement, et Microsoft n'est toujours pas capable d'écrire une doc en plaçant les mots dans un ordre intelligible ?
2  0