
L'administration Biden souhaite recueillir des commentaires sur les risques et les avantages liés aux modèles d'intelligence artificielle dont les poids sont largement disponibles - un élément clé des systèmes d'intelligence artificielle qui pourrait avoir d'importantes répercussions sur la sécurité nationale. Ils envisagent de bloquer l'accès à ces modèles afin d'éviter les abus. Mais certains pensent que ça serait une terrible erreur.
Open weight contre open source pour les modèles de langage
Lorsqu'un modèle de langage de grande taille (LLM) est rendu public, il convient de faire une distinction importante entre la fourniture "open weights" et le fait de rendre le modèle "open source".
L'expression "open weights" signifie que seuls les paramètres ou les poids pré-entraînés du modèle de réseau neuronal lui-même sont rendus publics. Cela permet à d'autres d'utiliser le modèle à des fins d'inférence et de mise au point. Toutefois, le code d'entraînement, l'ensemble de données d'origine, les détails de l'architecture du modèle et la méthodologie d'entraînement ne sont pas fournis.
La confusion vient du fait que certaines personnes qualifient à tort l'IA "open weights" d'open source, alors qu'il ne s'agit pas d'un code source. Cette situation est problématique car elle conduit à des malentendus sur la nature de ces deux composants différents.
Pour simplifier :
- Code source : Le code source est lisible par l'homme, débogable et modifiable. Il s'agit des instructions relatives à la création d'un logiciel ou d'un algorithme. Dans le contexte de l'IA, le terme "open source" fait référence à la disponibilité du code source pour modification et distribution.
- Weights (littéralement poids en français) : Les poids sont les résultats de l'entraînement sur les données et ne sont pas lisibles par l'homme ou déboguables. Ils représentent les connaissances qu'un réseau neuronal artificiel a apprises. Dans le contexte de l'IA, l'expression "open weights" fait référence à la disponibilité de ces poids à des fins d'utilisation ou de modification.
La publication en "open weights" permet un accès plus large à des modèles puissants, mais limite la transparence, la reproductibilité et la personnalisation. Les personnes qui utilisent des modèles "open weights" s'appuient sur les représentations et les jugements des créateurs du modèle original sans être en mesure d'inspecter ou de modifier entièrement le modèle.
En revanche, la publication d'un modèle en tant qu'open source impliquerait la fourniture de l'ensemble du code source et des informations nécessaires au réentraînement du modèle à partir de zéro. Cela comprend le code de l'architecture du modèle, la méthodologie d'apprentissage et les hyperparamètres, l'ensemble de données d'apprentissage d'origine, la documentation et d'autres détails pertinents.
Ce type de publication favorise le progrès décentralisé, car les chercheurs peuvent mieux comprendre, critiquer, modifier et développer les modèles existants. Cependant, l'open sourcing exige un effort et un engagement supplémentaires importants de la part des créateurs de modèles.
En somme, les publications "open weights" permettent l'utilisation des modèles mais pas une transparence totale, tandis que les publications open source permettent la compréhension et la personnalisation des modèles mais nécessitent beaucoup plus de travail pour leur diffusion. Le choix entre ces deux approches implique des compromis importants tant pour les créateurs de modèles que pour les consommateurs.
L'administration Biden envisage de bloquer l'accès aux modèles "open weights" pour prévenir des abus
Les modèles "open weights" permettent aux développeurs d'étudier et de personnaliser l'IA existante, la rendant plus accessible à une variété de parties prenantes, telles que les petites entreprises et les chercheurs. L'accès aux poids des modèles rend un modèle d'IA plus personnalisable, mais il peut également faciliter la suppression des garanties.
Le 30 octobre 2023, le président Biden a publié un décret intitulé "Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence" (développement et utilisation sûrs, sécurisés et fiables de l'intelligence artificielle), qui charge le secrétaire au commerce de mener un processus de consultation publique et de publier un rapport sur les risques potentiels, les avantages, les autres implications et les approches politiques et réglementaires appropriées concernant les modèles de fondation à double usage pour lesquels les poids des modèles sont largement disponibles.
Conformément à ce décret, l'administration nationale des télécommunications et de l'information (NTIA) a émis une demande de commentaires sur ces questions. Les réponses reçues seront utilisées pour soumettre un rapport au président. Le public avait jusqu'au 27 mars 2024 pour commenter.
« Les modèles d'IA open weights soulèvent des questions importantes concernant les défis en matière de sécurité et les possibilités de concurrence et d'innovation », a déclaré Alan Davidson, secrétaire adjoint au commerce pour les communications et l'information et administrateur de la NTIA. « Ces modèles peuvent contribuer à libérer l'innovation au sein des communautés en rendant accessibles des outils puissants, mais cette même accessibilité pose également de sérieux risques. Notre appel à commentaires nous aidera à tracer une voie politique pour promouvoir à la fois la sécurité et l'innovation dans cette technologie importante ».
Robert Brennan, VP of Product Development at Fairwinds. Former Googler
Le commentaire d'OpenAI
OpenAI a soumis un commentaire en réponse à la demande d’information de la NTIA concernant les modèles de fondation à double usage avec des poids largement disponibles. Publié le 27 mars 2024, ce commentaire fournit un contexte historique pour éclairer les délibérations de la NTIA.
En 2019, OpenAI a créé GPT-2, un modèle capable de générer des paragraphes de texte cohérents. Face à la question de son déploiement, OpenAI a opté pour une sortie progressive afin d’évaluer ses implications sociétales. Après avoir observé l’absence d’utilisation abusive significative, OpenAI a publié les poids complets du modèle.
En 2020, OpenAI a créé GPT-3, encore plus performant. Cette fois, ils ont choisi de le publier via leur API, permettant de répondre aux abus potentiels. Malgré cela, OpenAI continue de soutenir l’écosystème de l’IA en publiant les poids de certains de leurs modèles de pointe.

La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.