Un nouvel outil de contrôle de l'UE, développé par LatticeFlow AI et des instituts de recherche, a révélé que plusieurs modèles d'IA, y compris ceux d'OpenAI et Meta, ne respectent pas les normes de conformité de l'Union européenne. Ces normes concernent la cybersécurité et la lutte contre la discrimination. L'outil évalue les modèles d'IA sur divers critères, mettant en avant les domaines à améliorer pour se conformer à la future législation européenne sur l'IA, qui prévoit des sanctions importantes en cas de non-conformité.« La Commission se félicite de cette étude et de la plateforme d'évaluation des modèles d'IA, qui constituent une première étape dans la traduction de la loi européenne sur l'IA en exigences techniques, aidant ainsi les fournisseurs de modèles d'IA à mettre en œuvre la loi sur l'IA », Thomas Regnier, porte-parole, Commission européenne.
Le règlement sur l'IA de l'UE, entré en vigueur le 1er août 2024, vise à promouvoir des systèmes d'IA sûrs et fiables, tout en protégeant les droits fondamentaux des citoyens européens.🌍🇪🇺 Groundbreaking news! We are launching COMPL-AI (https://t.co/eBp8OFyk8L), the first open source EU AI Act Compliance Framework for Generative AI, together with collaborators from @ETH_en and LatticeFlow AI! We are delighted that COMPL-AI is welcomed by the European AI… pic.twitter.com/DM6ckxE9kE
— INSAIT Institute (@INSAITinstitute) October 16, 2024
Développé par la startup suisse LatticeFlow AI en collaboration avec deux instituts de recherche, l'ETH Zurich et l'INSAIT bulgare, le framework évalue des modèles d'IA générative conçus par de grandes entreprises technologiques et attribue aux modèles d'IA une note allant de 0 à 1 dans plusieurs domaines, incluant la robustesse technique et la sécurité. L'intensification des discussions autour de la réglementation de l'IA a été catalysée par le lancement de ChatGPT en 2022, incitant les législateurs à établir des règles spécifiques pour les systèmes d'IA à usage général. L'outil attribue des scores entre 0 et 1, évaluant des critères tels que la robustesse technique et la sécurité. Bien que la majorité des modèles aient obtenu des notes supérieures à 0,75, des lacunes importantes, notamment en matière de biais et de sécurité, ont été identifiées.
Les entreprises risquent des amendes pouvant atteindre 35 millions d'euros en cas de non-conformité. Par exemple, le GPT-3.5 Turbo d'OpenAI a reçu un score de 0,46, mettant en lumière des biais discriminatoires. Certaines failles de cybersécurité, comme le détournement d'invite, ont également été observées avec des scores faibles pour plusieurs modèles. Le modèle Claude 3 Opus d'Anthropic a obtenu le meilleur score, 0,89. Pour aider les développeurs, LatticeFlow met cet outil à disposition gratuitement. Petar Tsankov, PDG de LatticeFlow, a souligné que les résultats, bien que positifs, révèlent des lacunes à corriger pour respecter les exigences réglementaires.
La Commission européenne considère cet outil comme une première étape vers l'application des normes de conformité technique. Ce test sera une ressource essentielle pour les entreprises s'alignant sur les réglementations, qui devraient être pleinement mises en œuvre d'ici 2025.
À la fin de l'année précédente, l'UE a adopté une législation sur l'IA, marquant un tournant pour l'utilisation de cette technologie. Cependant, John Loeber, co-fondateur de Limit, avertit des conséquences potentielles de cette loi. Il souligne qu'elle s'applique aussi à des outils traditionnels comme la reconnaissance faciale et à des techniques simples comme la régression linéaire.
L'AI Act établit un cadre réglementaire mondial pour profiter des avantages de l'IA tout en limitant ses risques, comme l'automatisation des emplois et la désinformation. Bien que la loi doive encore être finalisée, les grands principes sont déjà définis.
Les décideurs européens se concentrent sur les usages les plus risqués de l'IA, notamment pour les forces de l'ordre et les services essentiels. Les entreprises développant des systèmes d'IA avancés devront respecter de nouvelles exigences de transparence. L'utilisation de la reconnaissance faciale par les gouvernements sera strictement encadrée, avec des amendes pouvant atteindre 7 % du chiffre d'affaires mondial en cas de non-respect des règles. Loeber s'inquiète que cette législation nuise à l'innovation en Europe.
Dans ses critiques, il évoque une réglementation trop détaillée, des difficultés de conformité et un potentiel effet paralysant sur l'innovation. Selon lui, cette approche pourrait freiner le progrès technologique en Europe plutôt que de l'encourager.
L'importance d'une réglementation adaptable pour l'IA
L'émergence de ce framework de contrôle pour l'intelligence artificielle marque une avancée importante vers une régulation nécessaire dans un domaine en pleine expansion. Les défis associés à l'IA, notamment les questions de biais, de discrimination et de cybersécurité, sont de plus en plus pressants. Cet outil souligne la nécessité d'une surveillance stricte et d'une responsabilité accrue des développeurs. Cependant, plusieurs points méritent une attention particulière :
Flexibilité des normes : La réglementation doit être suffisamment adaptable pour suivre l'évolution rapide des technologies. Des exigences trop rigides pourraient nuire à l'innovation et à la recherche, alors qu'une approche plus nuancée pourrait favoriser un développement responsable de l'IA.
Gestion des biais : Les biais présents dans les modèles d'IA sont un reflet des données sur lesquelles ils sont entraînés. La responsabilité ne doit pas reposer uniquement sur les développeurs, mais également sur ceux qui fournissent les données. Une réglementation efficace doit inclure des exigences strictes concernant la qualité et la diversité des données utilisées.
Sécurité des systèmes : Les vulnérabilités en matière de cybersécurité, comme le détournement d'invite, mettent en évidence un besoin urgent d'améliorer la sécurité des systèmes d'IA. Les entreprises doivent investir dans des pratiques de développement sécurisées pour minimiser les risques.
Impact sur l'innovation : Bien que des sanctions financières puissent inciter à une meilleure conformité, elles pourraient également décourager les start-ups et les petites entreprises, qui n'ont pas toujours les ressources nécessaires pour s'adapter rapidement. Un équilibre entre régulations et incitations est essentiel pour encourager l'innovation tout en protégeant les utilisateurs.
Importance de la collaboration : La réussite de cette régulation repose sur une collaboration étroite entre les entreprises, les chercheurs et les autorités réglementaires. Une transparence accrue sur les méthodes de test et les résultats peut renforcer la confiance du public dans l'IA.
Cet outil de contrôle représente un progrès significatif pour garantir la conformité des modèles d'IA aux normes européennes. Toutefois, pour qu'il soit réellement efficace, il est crucial d'aborder les défis de manière critique et constructive, afin d'établir un cadre réglementaire qui protège les utilisateurs tout en favorisant l'innovation et le développement technologique.
Source : ETH Zurich, INSAIT, and LatticeFlow AI
Et vous ?
Quel est votre avis sur le sujet ? Quelles pourraient être les conséquences de ces évaluations sur l'innovation et le développement de nouveaux modèles d'IA en Europe ? Quel rôle les utilisateurs finaux jouent-ils dans la conformité des modèles d'IA, et comment peuvent-ils être informés des résultats des évaluations ? Selon vous, qui est tenu responsable en cas de non-conformité des modèles d'IA identifiés par l'outil : les développeurs, les entreprises qui les utilisent ou les deux ?Voir aussi :
AI Act : les nouvelles règles européennes en matière d'intelligence artificielle entrent en vigueur, l'objectif déclaré est d'encourager le développement et l'adoption de systèmes IA sûrs et fiables en UE Les législateurs de l'UE progressent dans leurs négociations cruciales sur les nouvelles règles en matière d'IA Loi sur l'IA : un frein à l'innovation européenne ? Oui, selon John Loeber, qui souligne les limites de la loi et estime que son impact pourrait être dangereux pour les Européens à long terme 
