Un document publié par un groupe de 16 experts issus d'institutions prestigieuses appelle à une plus grande ouverture et à une plus grande transparence de la part des développeurs d'IA en ce qui concerne la manière dont leurs outils sont évalués et présentés. Selon ce document, les consommateurs et autres universitaires ne pourront pleinement comprendre les avantages de l'intelligence artificielle (IA) de haute technologie qu'à condition de disposer d'une information complète.Le document souligne que les méthodes actuelles utilisées pour évaluer les systèmes d'IA sont souvent opaques et fondées sur des hypothèses qui peuvent être difficiles à vérifier. Ce manque de clarté empêche les utilisateurs de comprendre le véritable potentiel et les limites de la technologie de l'IA. Les chercheurs proposent donc plusieurs mesures pour améliorer la précision des rapports et la transparence des évaluations de l'IA.
Les modèles d'IA devraient fournir des descriptions précises des ensembles de données utilisés à des fins d'évaluation et des informations sur toutes les étapes de prétraitement appliquées avant le début des tests. En outre, les développeurs devraient fournir des détails sur la manière dont les résultats ont été mesurés et indiquer si des tests statistiques ont été effectués sur des points de données au cours de l'évaluation.
Le document encourage également toutes les parties impliquées dans un projet d'IA - développeurs, évaluateurs et utilisateurs - à communiquer ouvertement entre elles tout au long du processus. Les auteurs estiment que cette collaboration permettra de s'assurer que toutes les parties prenantes savent ce qu'un système d'IA peut faire avant de le déployer dans des scénarios réels.
Dans un document publié récemment dans le journal Science, le professeur Anthony Cohn, de la School of Computing de l'université de Leeds, a appelé à une plus grande transparence en matière d'intelligence artificielle (IA). Quinze autres éminents scientifiques ont cosigné le document d'orientation. Le professeur Cohn est particulièrement préoccupé par cette question et ses répercussions potentielles, comme l'indique sa crainte que "les gens finissent par faire confiance à un système alors qu'ils ne le devraient pas".
La technique utilisée pour évaluer les performances d'une IA comprend souvent l'étalonnage, qui consiste à s'entraîner sur un ensemble d'échantillons de données et à tester un autre échantillon inconnu sans annotation. Ensuite, la précision est évaluée en mesurant à quel point l'IA prédit des annotations exactes. Il est évident que ces modifications sont nécessaires dès maintenant ; nous avons besoin de connaissances supplémentaires sur la manière dont nos systèmes fiables fonctionnent aujourd'hui !
Le professeur Cohn estime que l'utilisation sans cesse croissante de l'IA dans la société moderne a donné lieu à de nombreuses affirmations exagérées concernant ses performances et les progrès vers l'IAG. En réalité, il est essentiel de comprendre exactement le degré de réussite d'un système d'IA en fonction de chaque cas qu'il rencontre, car les taux de réussite peuvent varier considérablement pour des cas minoritaires ou des conditions rares.
Pour mieux comprendre les performances de l'IA et sa capacité à atteindre l'IAG, il faut mettre en place un processus de développement plus rigoureux pour créer des systèmes dignes de confiance. Ce processus devrait comprendre des expériences de simulation, des tests contrôlés et un suivi continu des performances de l'IA au fil du temps.
En faisant preuve d'une plus grande transparence dans l'évaluation de leurs outils, les développeurs peuvent s'assurer que les gens comprennent précisément ce que leurs systèmes d'IA peuvent faire avant qu'ils ne soient utilisés dans le monde entier.
Source : Article intitulé "Rethink reporting of evaluation results in AI" publié dans le journal Science
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous que les revendications de ces chercheurs sont pertinentes ? Pensez-vous qu'une meilleure compréhension des outils d'IA peut aider à une meilleure adoption de ces technologies ?Voir aussi
Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites, la mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui Bien que l'IA soit bénéfique pour le monde à bien des égards, elle présente un aspect négatif dont tout le monde doit être conscient L'IA pourrait radicalement changer la société en créant des richesses à travers l'automatisation des métiers, mais à qui profiteront ces richesses ? L'IA ne va-t-elle pas accentuer les inégalités ? Pour Bill Gates, l'IA est l'avancée technologique la plus importante depuis des décennies, il vient de publier une lettre de 7 pages sur l'IA et ses prédictions pour son avenir Bank of America affirme que l'IA est à l'aube d'une révolution semblable à celle induite par l'Internet et le smartphone, et stimulera l'économie mondiale de 15 700 milliards de dollars d'ici 7 ans