La gouvernance de l'IA, ou la capacité d'une organisation à diriger, gérer et contrôler les activités de l'IA, est un sujet de débat en vogue depuis que le soulèvement de l'IA générative a pris le devant de la scène. Et si l'on vous disait qu'un tiers des outils servant à ce processus sont en fait jugés défectueux ou mal utilisés ? Grâce à une nouvelle étude du World Privacy Forum, des faits très intéressants ont été publiés à ce sujet. L'étude comprenait un examen complet des 18 principaux outils de gouvernance utilisés pour évaluer le contenu de l'IA. Et 38 % d'entre eux incluraient des correctifs défectueux.Le fait que les offres conçues pour évaluer l'équité et l'efficacité des systèmes d'IA soient elles-mêmes défectueuses est vraiment une expérience qui ouvre les yeux, car on se demande ce qui se passe depuis si longtemps et comment cela a pu passer inaperçu jusqu'à présent.
Certains des problèmes sont liés à la médiocrité des systèmes mis en place pour l'assurance de la qualité, qui présentent de graves lacunes. Ces systèmes sont considérés comme inadaptés lorsqu'ils sont utilisés en dehors de l'usage réel pour lequel ils ont été conçus.
En outre, un grand nombre d'outils ont été lancés par des organisations que l'on ne pourrait jamais soupçonner. Après tout, elles ne sont pas seulement connues pour leur réputation dans l'industrie technologique, mais aussi pour être celles qui produisent les systèmes d'intelligence artificielle que ces outils sont censés évaluer. Google, IBM, Microsoft, entre autres, figurent parmi les noms les plus courants de la liste.
L'un des principaux exemples à cet égard a montré que le célèbre outil AI Fairness 360 d'IBM a été mis en avant par l'Accountability Office du pays pour sa capacité à évaluer les principes éthiques et des facteurs tels que la transparence, la sécurité, l'équité et l'obligation de rendre des comptes. Toutefois, selon l'étude réalisée, l'outil est de plus en plus critiqué pour son efficacité à faire le travail correctement.
Le directeur du World Privacy Forum a ajouté que la liste des offres de gouvernance de l'IA continuait de progresser dans une direction boiteuse. L'une des principales raisons tient au fait qu'il n'existe aucune forme de protocole établi pour garantir le maintien ou l'assurance d'une bonne qualité lors de l'utilisation. Et lorsqu'il n'y a pas de contrôle de qualité en place, les problèmes se multiplient.
L'une des principales préoccupations est liée au fait qu'il n'existe pas d'instructions sur la manière de l'utiliser efficacement ou sur l'usage réel qui en est fait. De même, aucune donnée n'est disponible quant au contexte dans lequel il est conçu, et aucune forme de conflit d'intérêts n'a été trouvée non plus. Ce qui est encore plus préoccupant pour les chercheurs, c'est qu'un outil conçu pour un certain type de contexte a été utilisé pour d'autres, ce qui a déclenché une alarme, car aucune norme n'a été respectée.
Pendant tout ce temps, le public est induit en erreur et pense que les outils font leur travail correctement et garantissent leur sécurité. Mais en réalité, c'est loin d'être le cas, comme le confirme l'étude.
Et le fait que ces outils génèrent un faux sentiment de sécurité n'est certainement pas apprécié depuis que cette étude a été rendue publique.
Même depuis l'adoption de la loi sur l'IA par l'UE, suivie par le lancement du décret sur l'IA aux États-Unis, nous voyons de plus en plus de pays tenter de suivre leurs traces et de lancer des ensembles d'outils similaires dans le même but.
L'augmentation alarmante des recherches de ce type ouvre la voie à la mise en évidence de nombreuses failles dans le système et d'une grande marge d'amélioration, en particulier à l'aube de l'année 2024.
L'OCDE continue de servir de gardien mondial pour le contrôle de ces outils de gouvernance et admet déjà qu'il y a matière à améliorer les choses.
Source : "Risky Analysis: Assessing and Improving AI Governance Tools" (étude du World Privacy Forum)
Et vous ?
Quelle lecture faites-vous de cette situation ? Trouvez-vous que les conclusions de cette étude du World Privacy Forum sont pertinentes ou crédibles ?Voir aussi
Un groupe du MIT publie des livres blancs sur la gouvernance de l'IA, la série de documents d'orientation vise à aider les décideurs politiques à mieux superviser l'IA dans la société Un cadre pour la gouvernance de l'IA aux États-Unis : Créer un secteur de l'IA sûr et prospère, en consultation avec le comité ad hoc sur la réglementation de l'IA Loi sur l'intelligence artificielle: l'Europe parvient à un accord sur les premières règles globales au monde en matière d'IA, tentant d'exploiter les avantages potentiels de la technologie Joe Biden signe un décret visant à superviser et à investir dans l'IA, ses objectifs vont des droits civils aux réglementations industrielles, en passant par l'embauche de personnel