Dans un contexte où les appels à la régulation du développement de l'IA se multiplient, Satya Nadella, le PDG de Microsoft, a estimé qu’il faut partir du principe que tous les modèles d’IA sont « compromis » et a appelé à mettre un « frein d’urgence » à l’IA. Il a notamment déclaré : « Nous ne pouvons pas traiter la super intelligence comme un ensemble de boîtes noires imbriquées et nous contenter d’accepter ou de rejeter ses recommandations, ses réponses et ses actions. Nous devons construire des systèmes confinés dont nous pouvons observer le comportement, tester les limites et toujours maîtriser les actions. » Sa publication a interpellé car il a utilisé le terme de « super intelligence » au lieu d' «intelligence artificielle » et a appelé à « externaliser les contrôles et les mesures de protection. »Fin septembre, Bill Gates, le cofondateur de Microsoft, a déclaré que que l’intelligence artificielle (IA) est suffisamment puissante pour déclencher des événements pouvant causer un milliard de morts. Il n’y a jamais eu d’arme aussi puissante que des personnes mal intentionnées utilisant les derniers outils d’IA, a déclaré le cofondateur de Microsoft. Seloon Gates, l’autorégulation ne suffit pas et les forces de l’ordre ainsi que les responsables politiques doivent participer à la discussion sur la forme que doivent prendre les mesures de protection et de surveillance et que cela devait être rendu obligatoire.
Cette déclaration de Bill Gates intervenait dans un contexte où les appels à la régulation du développement de l'IA se multipliaient. Des dirigeants de trois des plus grandes entreprises mondiales d’IA ont notamment briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale.
« Si elle est mal gérée, je pense même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble », a déclaré Dario Amodei, PDG d’Anthropic. « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent », a déclaré Sam Altman, PDG d'OpenAI. Pourtant, les États-Unis et la Chine, les deux acteurs dominants dans le développement de l’IA, restent divisés sur la question.
Récemment, c'est Satya Nadella, le PDG de Microsoft, qui a partagé son avis. Dans une publication sur X, anciennement Twitter, il a estimé qu’il faut partir du principe que tous les modèles d’IA sont « compromis » et a appelé à mettre un « frein d’urgence » à l’IA. Sa publication avait également interpellé, car il a utilisé le terme de super intelligence au lieu d'intelligence artificielle. Il a également appellé à « externaliser les contrôles et les mesures de protection. »
Voici son avis :
Les modèles, sources de risques internes à l’ère de la super intelligence
Au cours des dernières décennies, à mesure que les systèmes logiciels traditionnels se déployaient dans l’ensemble de l’économie, nous disposions des outils et des capacités nécessaires pour remonter jusqu’à un chemin de code spécifique à partir d’un comportement observé.
Ce même type de compréhension mécaniste nous échappe dans les systèmes de super intelligence d’aujourd’hui, alors même que les modèles de pointe qui alimentent ces systèmes sont désormais plus performants que les systèmes logiciels traditionnels. Nous ne pouvons pas attribuer les comportements et les résultats des modèles à des entrées spécifiques de données d’entraînement ou à des configurations de poids de modèles. Et pourtant, nous déployons ces systèmes et modèles complexes dotés d’une autonomie décisionnelle, en leur donnant accès à nos données les plus sensibles et en leur conférant la capacité de prendre des mesures critiques en notre nom !
C’est pourquoi il est temps de prendre du recul et d’évaluer l’architecture de confiance pour cette nouvelle ère. Nous ne pouvons tout simplement pas externaliser la responsabilité de ce que l’intelligence fait en notre nom. Les assurances d’un fournisseur de modèles ne nous déchargent pas de cette responsabilité.
Nous ne pouvons pas traiter la super intelligence comme un ensemble de boîtes noires imbriquées et nous contenter d’accepter ou de rejeter ses recommandations, ses réponses et ses actions. Nous devons construire des systèmes confinés dont nous pouvons observer le comportement, tester les limites et toujours maîtriser les actions.
En d’autres termes, nous devons séparer la fourniture de l’intelligence de l’autorité qui s’exerce sur elle.
En mettant de côté le problème épineux de l’alignement, nous devons commencer par une approche technique du confinement et de la gouvernance. Nous devons encadrer les modèles non déterministes par une conception système solide et déterministe, des contrôles humains et des procédures opérationnelles fiables, et établir des normes sectorielles là où celles existantes sont insuffisantes.
Considérer les modèles de poids fermés et ouverts de pointe comme des risques internes est un moyen de construire un tel système. Non pas parce qu’ils sont nécessairement malveillants, mais parce que tout acteur suffisamment compétent ayant accès à des systèmes importants peut commettre des erreurs ou être compromis, et l’architecture de confinement et de contrôle doit en tenir compte.
La bonne nouvelle, c’est que nous avons beaucoup appris sur la manière de gérer les acteurs puissants au sein de l’entreprise. Ce n’est pas nouveau ! Nous avons établi des bonnes pratiques et les avons affinées au fil des décennies (établir l’identité, limiter les privilèges, consigner l’activité, créer des limites de confinement, etc.)
Et nous commençons désormais à appliquer ces mêmes principes à l’infrastructure informatique au sein de l’entreprise. Cela commence par la transparence de la chaîne de pensée (CoT) du modèle, qui est non négociable. Le « neuralese » ne peut servir de justification à l’opacité du raisonnement d’un modèle. Mais la transparence de la CoT n’est pas suffisante ni fiable à elle seule, car nous ne savons pas encore comment rendre les résultats des modèles eux-mêmes systématiquement fidèles ou transparents !
Vous pouvez et devez utiliser des modèles pour vous tester et vous vérifier mutuellement de manière antagoniste. Cependant, vous risquez alors de vous retrouver avec un modèle opaque au sein d’une couche d’orchestration opaque, surveillé par un autre modèle opaque. Il s’agit essentiellement de boîtes noires imbriquées.
C’est pourquoi les contrôles qui régissent ce à quoi un modèle peut accéder et les actions qu’il peut entreprendre doivent se situer en dehors du modèle. Cela s’appuie sur un principe de sécurité de l’information datant des années 1970, selon lequel un programme ne doit pas pouvoir contourner ou altérer les mécanismes qui font respecter ses autorisations.
Aujourd’hui, cela implique de séparer le modèle du harnais qui orchestre son fonctionnement, ainsi que de l’espace d’action qui définit ce qu’il peut faire. Cela implique également d’externaliser les contrôles et les mesures de protection.
Nous devons donc concevoir ces systèmes autour des principes d’observabilité :
- Diversité des modèles : aucun modèle ne doit devenir la seule dépendance pour un résultat important ni être chargé de vérifier son propre fonctionnement.
- Tout observer : chaque action significative d’un modèle doit laisser une trace lisible par l’homme et inviolable. Si elle ne peut être observée, on ne peut s’y fier ! Nous devons être capables de reproduire la manière dont un résultat a été obtenu sans compter sur le modèle pour l’attester.
- Vérifiabilité : nous devons tester en permanence l’ensemble du système, y compris les défaillances, les attaques, les cas limites, les modifications du système, etc., et pas seulement les tâches réussies.
- Contrôles indépendants : les organisations doivent pouvoir déterminer de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.