Les élèves du Texas seront parmi les premiers à voir les examens prescrits par l'État notés par une plateforme alimentée par l'IA. La partie écrite de l'examen STAAR (State of Texas Assessments of Academic Readiness), qui évalue les niveaux de compétences en lecture, écriture, sciences et études sociales, sera notée à l'aide d'un "moteur de notation automatisé".L'examen a été remanié en 2023. L'examen révisé comporte désormais moins de questions à choix multiples et plus de questions ouvertes, appelées questions à réponse construite. Les nouveaux tests comportent jusqu'à sept fois plus de questions ouvertes qu'auparavant.
Selon le Texas Tribune, l'approche du traitement du langage naturel pourrait permettre à l'État d'économiser plus de 20 millions de dollars par an, une somme qui aurait autrement été dépensée pour embaucher des évaluateurs humains auprès d'un contractant tiers.
Jose Rios, directeur de l'évaluation des élèves à l'Agence de l'éducation du Texas (TEA), a déclaré qu'ils voulaient conserver autant de réponses ouvertes que possible, mais qu'il fallait beaucoup de temps pour les noter.
Les machines ne remplacent pas entièrement les correcteurs humains, du moins pas encore. L'année dernière, lla TEA a engagé environ 6 000 correcteurs humains temporaires. Cette année, il en faudra moins de 2 000.
Un quart de toutes les réponses construites initialement notées par l'IA seront réévaluées par des humains, de même que les tests pour lesquels l'ordinateur n'est pas sûr de son score. Les réponses rédigées dans une langue autre que l'anglais et celles contenant des mots d'argot seront également transmises à des évaluateurs humains.
Le moteur de notation automatique a été entraîné sur 3 000 réponses qui ont d'abord fait l'objet de deux séries de notation humaine. Les échantillons ont permis à l'IA d'évaluer les caractéristiques communes des réponses et lui ont appris à donner la même note qu'un humain.
Chris Rozunick, directeur de division pour le développement de l'évaluation à la TEA, a déclaré qu'ils ont toujours eu des processus de contrôle de la qualité très robustes avec les humains, et que c'est la même chose avec un système informatique. Il suffit de ne pas l'appeler "IA".
"Nous sommes très loin de tout ce qui est autonome ou qui peut penser tout seul", a déclaré M. Rozunick. Par exemple, la solution de notation n'"apprend" pas d'une réponse à l'autre ; elle se réfère toujours à sa formation initiale comme référence.
Source : "Texas will use computers to grade written answers on this year’s STAAR tests" (The Texas Tribune)
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous cette application de l'IA pertinente et judicieuse ?Voir aussi :
Des élèves découvrent que leurs évaluations sont notées par une « IA » qui se base sur la présence de certains mots-clés dans leurs réponses et s'en servent pour obtenir de meilleures notes L'IA est susceptible de sonner le glas de l'école traditionnelle, d'après un expert de la filière et comme le montre l'utilisation d'un chatbot comme professeur d'informatique à Harvard 
