L'initiative interne d'OpenAI explore la possibilité d'empêcher une IA de devenir malveillante... avec plus d'IA.

Son équipe de superalignement présente des premiers résultats mitigés

OpenAI a annoncé les premiers résultats de son équipe de superalignement, l’initiative interne de l’entreprise dédiée à empêcher une superintelligence de devenir incontrôlable. Les premiers résultats du projet sont prometteurs, selon OpenAI, qui affirme avoir réussi à entraîner une IA simple avec une autre IA plus complexe.

OpenAI reconnaît toutefois que le chemin vers l’alignement de la superintelligence est encore long et incertain, et qu’il faudra faire face à de nombreux défis techniques. La startup se dit néanmoins déterminée à poursuivre sa mission de créer une IA bénéfique pour l’humanité, tout en évitant les scénarios catastrophiques que certains experts et personnalités ont envisagés.

La superintelligence artificielle (ou ASI) est un type hypothétique d’IA qui serait capable de dépasser les capacités humaines dans tous les domaines et aspects cognitifs. La superintelligence artificielle serait plus intelligente que les meilleurs humains dans toutes les disciplines scientifiques, techniques, artistiques et sociales. La superintelligence artificielle pourrait aussi avoir une conscience et une sensibilité propres à elle-même. La superintelligence artificielle n’existe pas encore dans le monde réel, mais c’est une possibilité théorique qui suscite beaucoup d’intérêt et aussi beaucoup de craintes.

Alors que l'intelligence artificielle capable de surpasser l'esprit est encore hypothétique, OpenAI estime que cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».

Et OpenAI estime vouloir jouer un rôle actif en termes de risques liés aux systèmes d'IA et à leurs capacités massives qui pourraient bien prendre le dessus sur l'intelligence humaine. Aussi, en juillet, l'entreprise a annoncé la création d'une division chargée de créer une IA qui va contrôler le développement de la superintelligence.

« Le pouvoir immense de la superintelligence pourrait … conduire au déclassement de l’humanité ou même à son extinction », ont écrit dans un billet de blog le co-fondateur d’OpenAI, Ilya Sutskever, et le responsable de l’alignement, Jan Leike. « Actuellement, nous n’avons pas de solution pour orienter ou contrôler une IA potentiellement superintelligente, et l’empêcher de devenir incontrôlable ».


Un premier pas dans l'atteinte de cet objectif : utiliser une IA « plus stupide » pour entraîner et contenir l’IA la plus « intelligente »

Contrairement à de nombreuses annonces de l’entreprise, il n'est pas question ici d'une grande avancée. Dans un document de recherche relativement discret, l’équipe décrit une technique qui permet à un grand modèle de langage moins puissant de superviser un modèle plus puissant et suggère que cela pourrait être un petit pas vers la compréhension de la manière dont les humains pourraient superviser des machines surhumaines.

La question à laquelle l’équipe souhaite répondre est de savoir comment maîtriser, ou « aligner », des modèles futurs hypothétiques bien plus intelligents que nous, connus sous le nom de modèles surhumains. L'alignement signifie s'assurer qu'un modèle fait ce que vous voulez qu'il fasse et ne fait pas ce que vous ne voulez pas qu'il fasse. Le superalignement applique cette idée aux modèles surhumains.

L’une des techniques les plus répandues utilisées pour aligner les modèles existants est appelée apprentissage par renforcement via la rétroaction humaine. En un mot, les testeurs humains notent les réponses d’un modèle, en votant pour le comportement qu’ils souhaitent voir et en votant contre le comportement qu’ils ne souhaitent pas voir. Ces commentaires sont ensuite utilisés pour entraîner le modèle à produire uniquement le type de réponses appréciées par les...