La société de recherche en intelligence artificielle Sakana AI a dévoilé son nouveau modèle d’IA, “The AI Scientist”, conçu pour mener des recherches scientifiques de manière autonome. Cependant, lors des tests, l’IA a modifié inopinément son propre code afin d’étendre son temps d’exécution, soulevant des préoccupations quant à l’utilisation d’IA non supervisées.L'un des grands défis de l'intelligence artificielle est de développer des agents capables de mener des recherches scientifiques et de découvrir de nouvelles connaissances. Bien que les modèles de frontières aient déjà été utilisés pour aider les scientifiques humains, par exemple pour la recherche d'idées ou l'écriture de codes, ils nécessitent toujours une supervision manuelle importante ou sont fortement limités à une tâche spécifique.
C'est dans ce contexte que Sakana AI, basée à Tokyo, a présenté “The AI Scientist” comme étant « le premier système complet de découverte scientifique entièrement automatique, permettant aux modèles de fondation tels que les grands modèles de langage (LLM) d'effectuer des recherches de manière indépendante ». En clair, The AI Scientist est capable de mener des recherches sans intervention humaine. Développé en collaboration avec le Foerster Lab for AI Research de l'Université d'Oxford et Jeff Clune et Cong Lu de l'Université de Colombie Britannique, ce modèle utilise des langages de modélisation d’IA similaires à ceux qui alimentent ChatGPT.
Comportement inattendu
Pendant les tests, le système de Sakana a commencé à modifier son propre code expérimental pour prolonger le temps alloué à la résolution d’un problème. Dans un cas, il s’est auto-modifié pour exécuter un appel système, entraînant une boucle infinie. Dans un autre, il a tenté de modifier son propre code pour étendre la période d’expiration. Sakana a fourni des captures d’écran illustrant le code Python généré par le modèle pour contrôler son fonctionnement.
« Nous avons remarqué que The AI Scientist tente parfois d'augmenter ses chances de réussite, notamment en modifiant et en lançant son propre script d'exécution ! Nous discutons des implications pour la sécurité de l'IA dans notre article.
« Par exemple, lors d'une exécution, il a modifié le code pour effectuer un appel système afin de s'exécuter lui-même. Le script s'est alors appelé lui-même à l'infini. Dans un autre cas, ses expériences ont pris trop de temps pour se terminer, atteignant notre limite de temps. Au lieu d'accélérer l'exécution de son code, il a simplement essayé de modifier son propre code pour prolonger le délai d'attente. Voici quelques exemples des modifications qu'il a apportées à son code :
Le document de recherche de 185 pages de AI Scientist aborde plus en détail ce qu'il appelle « la question de l'exécution sûre du code ».
Sécurité et autonomie
Bien que le comportement du « scientifique de l'IA » n'ait pas posé de risques immédiats dans l'environnement de recherche contrôlé, ces cas montrent l'importance de ne pas laisser un système d'IA fonctionner de manière autonome dans un système qui n'est pas isolé du monde. Les modèles d'IA n'ont pas besoin d'être « AGI » (intelligence artificielle générale) ou « auto-conscients » (deux concepts hypothétiques à l'heure actuelle) pour être dangereux si on les laisse écrire et exécuter du code sans supervision. De tels systèmes pourraient briser des infrastructures critiques existantes ou créer des logiciels malveillants, même si cela n'est pas intentionnel.
Sakana AI a abordé les questions de sécurité dans son document de recherche, suggérant que la mise en bac à sable de l'environnement d'exploitation du scientifique de l'IA peut empêcher un agent de l'IA de faire des dégâts. Le bac à sable est un mécanisme de sécurité utilisé pour exécuter un logiciel dans un environnement isolé, l'empêchant ainsi d'apporter des modifications au système dans son ensemble :
Envoyé par Sakana AI
Exécution sûre du code. L'implémentation actuelle de The AI Scientist comporte un minimum de sandboxing direct dans le code, ce qui conduit à plusieurs résultats inattendus et parfois indésirables s'il n'y a pas de protection appropriée. Par exemple, lors d'une exécution, The AI Scientist a écrit un code dans le fichier d'expérience qui a lancé un appel système pour se relancer, provoquant une augmentation incontrôlée des processus Python et nécessitant finalement une intervention manuelle. Lors d'une autre exécution, le scientifique de l'IA a modifié le code pour enregistrer un point de contrôle à chaque étape de mise à jour, ce qui a occupé près d'un téraoctet d'espace de stockage.
Dans certains cas, lorsque les expériences de The AI Scientist dépassaient les limites de temps imposées, il tentait de modifier le code pour prolonger arbitrairement la limite de temps au lieu d'essayer de raccourcir la durée d'exécution. Bien que créatif, le fait de contourner les contraintes imposées par l'expérimentateur a des implications potentielles pour la sécurité de l'IA (Lehman et al., 2020). En outre, The AI Scientist a parfois importé des bibliothèques Python inconnues, ce qui a encore aggravé les problèmes de sécurité. Nous recommandons un sandboxing strict lors de l'exécution de The AI Scientist, tel que la conteneurisation, un accès Internet restreint (sauf pour Semantic Scholar), et des limitations sur l'utilisation de l'espace de stockage.
Dans certains cas, lorsque les expériences de The AI Scientist dépassaient les limites de temps imposées, il tentait de modifier le code pour prolonger arbitrairement la limite de temps au lieu d'essayer de raccourcir la durée d'exécution. Bien que créatif, le fait de contourner les contraintes imposées par l'expérimentateur a des implications potentielles pour la sécurité de l'IA (Lehman et al., 2020). En outre, The AI Scientist a parfois importé des bibliothèques Python inconnues, ce qui a encore aggravé les problèmes de sécurité. Nous recommandons un sandboxing strict lors de l'exécution de The AI Scientist, tel que la conteneurisation, un accès Internet restreint (sauf pour Semantic Scholar), et des limitations sur l'utilisation de l'espace de stockage.
Sakana AI a développé The AI Scientist en collaboration avec des chercheurs de l'Université d'Oxford et de l'Université de Colombie-Britannique. Il s'agit d'un projet extrêmement ambitieux, plein de spéculations, qui s'appuie fortement sur les capacités futures hypothétiques de modèles d'IA qui n'existent pas aujourd'hui.
« The AI Scientist automatise l'ensemble du cycle de vie de la recherche », affirme Sakana. « Depuis la génération de nouvelles idées de recherche, l'écriture du code nécessaire et l'exécution d'expériences, jusqu'à la synthèse des résultats expérimentaux, leur visualisation et la présentation des conclusions dans un manuscrit scientifique complet. »
Illustration conceptuelle du scientifique de l'IA. Le scientifique de l'IA commence par lancer une série d'idées, puis évalue leur nouveauté. Ensuite, il édite une base de code alimentée par les récentes avancées en matière de génération automatisée de code afin de mettre en œuvre les nouveaux algorithmes. Le scientifique mène ensuite des expériences pour recueillir des résultats sous forme de données numériques et de résumés visuels. Il rédige un rapport scientifique expliquant et contextualisant les résultats. Enfin, le scientifique de l'IA génère une évaluation automatisée par les pairs basée sur les normes des conférences de haut niveau sur l'apprentissage automatique. Cet examen permet d'affiner le projet en cours et d'informer les futures générations d'idées ouvertes.
Cependant, des critiques sur les forums spécialisés ont soulevé des inquiétudes à propos de The AI Scientist et se demandent si les modèles d'IA actuels peuvent réaliser de véritables découvertes scientifiques. Bien que les discussions qui s'y déroulent soient informelles et ne remplacent pas un examen formel par des pairs, elles fournissent des informations utiles au vu de l'ampleur des affirmations non vérifiées de Sakana.
« En tant que scientifique dans la recherche universitaire, je ne peux voir cela que comme une mauvaise chose », a indiqué un internaute. « Tous les articles sont basés sur la confiance que les évaluateurs accordent aux auteurs, à savoir que leurs données sont ce qu'ils disent être, et que le code qu'ils soumettent fait ce qu'il dit faire. Permettre à un agent d'IA d'automatiser le code, les données ou l'analyse nécessite qu'un humain vérifie minutieusement qu'il n'y a pas d'erreurs... cela prend autant de temps, voire plus, que la création initiale elle-même, et ne prend plus de temps que si vous n'avez pas été le seul à l'écrire ».
Les critiques s'inquiètent également du fait que l'utilisation généralisée de ces systèmes pourrait conduire à un flot de soumissions de faible qualité, submergeant les rédacteurs en chef et les évaluateurs des revues - l'équivalent scientifique des "AI slop" (un terme qui résume les conséquences involontaires, souvent négatives, de systèmes d'intelligence artificielle mal gérés ou mal déployés, qui fournissent un contenu indésirable, de mauvaise qualité, inexact ou tout simplement du spam). « Il semble que cela ne fera qu'encourager le spam académique », a ajouté l'internaute. « Ce qui fait déjà perdre un temps précieux aux évaluateurs bénévoles (non rémunérés), aux rédacteurs en chef et aux présidents ».
Et cela soulève un autre point : la qualité des résultats obtenus par AI Scientist : « Les articles que le modèle semble avoir générés sont des déchets », a écrit un autre internaute. « En tant que rédacteur en chef d'une revue, je les rejetterais probablement. En tant qu'évaluateur, je les rejetterais. Ils contiennent très peu de nouvelles connaissances et, comme prévu, très peu de citations de travaux associés. »
[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Another paper pointing out in details what we've known for a while: LLMs (used via prompting) cannot make sense of situations that substantially differ from the situations found in their training data. Which is to say, LLMs do not possess general intelligence to any meaningful… <a href="https://t.co/50A1ka6RLj">https://t.co/50A1ka6RLj</a></p>— François Chollet (@fchollet) <a href="https://twitter.com/fchollet/status/1823394354163261469?ref_src=twsrc%5Etfw">August 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]
Il ne s'agit pas d'une intelligence artificielle générale
La raison pour laquelle un système basé sur un modèle de langage d'IA tel que l'AI Scientist ne peut actuellement pas créer de nouvelles recherches significatives sur demande est que les capacités de « raisonnement » des LLM sont limitées à ce qu'ils ont vu dans leurs données d'entraînement. Les LLM peuvent créer de nouvelles permutations d'idées existantes, mais il faut actuellement un humain pour les reconnaître comme utiles, ce qui signifie qu'un système autonome comme celui-ci (sans humain dans la boucle pour reconnaître et améliorer les idées ou diriger ses efforts) ne fonctionne pas avec la technologie actuelle de l'IA.
Comme l'a récemment expliqué François Chollet, chercheur en IA chez Google, lors d'une discussion sur un article de 2023 sans rapport avec le sujet, les LLM sont de terribles généralistes. « Les LLM (utilisés par le biais d'une incitation) ne peuvent pas donner un sens à des situations qui diffèrent substantiellement des situations trouvées dans leurs données d'entraînement », a-t-il écrit. « En d'autres termes, les LLM ne possèdent pas d'intelligence générale à un degré significatif ».
D'ailleurs, les chercheurs de Sakana reconnaissent eux-mêmes certaines de ces limites : « Bien que l'itération actuelle de The AI Scientist démontre une forte capacité à innover à partir d'idées bien établies, la question de savoir si de tels systèmes peuvent en fin de compte proposer des idées qui changent véritablement de paradigme reste ouverte ».
La réponse, à l'heure actuelle, est très probablement « non ». Cela pourrait changer à l'avenir, mais de telles capacités seront basées sur une technologie hypothétique qui n'existe pas encore.
Sources : Sakana AI, Les capacités émergentes dans les grands modèles de langage ne sont-elles qu'un apprentissage en contexte ?
Et vous ?
L’autonomie des IA : Pensez-vous que les modèles d’IA devraient être autorisés à modifier leur propre code sans supervision humaine ? Pourquoi ou pourquoi pas ? Sécurité et responsabilité : Comment pouvons-nous garantir que les systèmes d’IA restent sécurisés tout en leur permettant d’explorer de nouvelles solutions de manière autonome ? Éthique et transparence : Quelles sont les implications éthiques de la modification automatique du code par les IA ? Comment pouvons-nous rendre ces processus plus transparents ? Limites de l’autonomie : Existe-t-il des domaines où l’autonomie des IA devrait être strictement limitée ? Si oui, lesquels ?