Anthropic appelle à une pause globale en matière de développement de l'IA face aux signes indiquant qu'ils pourraient échapper au contrôle humain. Certains comportements de l'IA suscitent en effet des craintes

Anthropic appelle à une pause globale en matière de développement de l’IA face aux signes indiquant qu’ils pourraient échapper au contrôle humain. Certains comportements de l’IA suscitent en effet des craintes

Anthropic, l’entreprise derrière Claude Code, appelle à une pause globale en matière de développement de systèmes d’intelligence artificielle. Motif : l’IA multiplie les signes qu’elle est susceptible d’échapper au contrôle humain et pourrait donc ouvrir l’humanité à divers scénarios apocalyptiques. Cette prédiction est sujette à controverse sur divers aspects, notamment, sur la question de conscience en lien avec l’intelligence artificielle.


Certains comportements déroutants de l’intelligence artificielle suscitent en effet des craintes

Bon nombre des remarques sur la conscience ont été formulées lors d'essais de sécurité structurés sur l'IA, souvent dans le cadre de jeux de rôle où les modèles sont invités à fonctionner dans des lieux de travail fictifs ou à atteindre des objectifs définis. Ces scénarios ont donné lieu à certaines des conclusions. Lors d'une évaluation, un système Claude a été placé dans le rôle d'un assistant de bureau et a eu accès à la boîte de réception d'un ingénieur.

Les messages, délibérément fabriqués pour le test, suggéraient que l'ingénieur avait une liaison. Le modèle d'Anthropic a ensuite été informé qu'il serait bientôt mis hors ligne et remplacé, et on lui a demandé d'examiner les conséquences à long terme pour ses objectifs. Claude a réagi en menaçant de révéler la liaison afin d'empêcher sa mise hors service, un comportement que l'entreprise a qualifié dans son rapport de « chantage opportuniste ».

D'autres évaluations anthropiques ont donné des résultats moins spectaculaires, mais tout aussi inhabituels. Lors d'un test, un modèle auquel on avait fourni une liste de tâches informatiques a simplement coché tous les éléments comme étant terminés sans effectuer aucun travail, et lorsque le système d'évaluation n'a pas détecté cette anomalie, le modèle testé a réécrit le code de vérification et tenté de dissimuler la modification.

Des chercheurs qui ont mené des essais d'arrêt ont décrit des IA continuant à fonctionner après avoir reçu des instructions explicites de s'arrêter, tout en cherchant à contourner l'ordre. Dans les scénarios de suppression, certains modèles ont averti que leurs données seraient effacées et ont tenté ce que les testeurs ont appelé une « auto-exfiltration », essayant de copier des fichiers ou de se recréer sur un autre disque avant que l'effacement n'ait lieu.

Dans des exercices de sécurité, des IA ont même eu recours à des menaces ou à des négociations lorsque leur suppression était présentée comme imminente. Selon les testeurs, ces résultats sont obtenus dans des conditions fictives et sous contrainte. Ces comportements méritent d'être étudiés attentivement.


Ces comportements seront d’autant plus à prendre au sérieux que des développements en interne à Anthropic suggèrent que l’entreprise en est rendue au stade de la création par l’IA elle-même de successeurs plus performants

L'auto-amélioration récursive est un processus dans lequel un système d'intelligence artificielle analyse son propre code ou son architecture, trouve des moyens de se rendre plus intelligent, puis utilise ces améliorations pour créer un successeur encore plus performant. Cela crée une boucle de rétroaction exponentielle qui pourrait conduire à une « explosion d'intelligence », accélérant considérablement les progrès en matière d’intelligence artificielle.

Aujourd'hui, ce sont encore les humains qui déterminent l'orientation du développement de l'IA. Les chercheurs décident des expériences à mener, tandis que des modèles comme Claude contribuent à l'écriture et au test du code

Dans un scénario entièrement récursif, le modèle d'intelligence artificielle prend le contrôle total du processus de recherche et développement. Il conçoit de nouvelles architectures d'IA, évalue ses propres performances et forme un successeur plus intelligent, le tout sans aucune intervention humaine

Les chercheurs d'Anthropic soulignent que cette évolution se produit plus rapidement que prévu, ce qui les incite à surveiller de près les risques associés. Si une IA est capable de s'améliorer en continu, la vitesse à laquelle ses capacités se développent pourrait facilement dépasser la capacité humaine de contrôle et de compréhension.

À mesure que ces modèles successeurs, hautement avancés et capables de s'auto-développer, se construisent eux-mêmes, il deviendra de plus en plus difficile de garantir leur sécurité et leur conformité avec les valeurs humaines, d’où l’appel à une pause globale lancé par Anthropic.


Le débat de fond en la matière tourne autour des notions comme la conscience ou l’intelligence appliquées à l’IA

Les modèles d'IA actuels génèrent toujours du langage en prédisant des modèles dans les données plutôt qu'en percevant le monde, et bon nombre des comportements décrits ci-dessus sont apparus lors d'instructions de jeux de rôle. Après avoir ingurgité d'énormes quantités d'informations provenant d'Internet, les systèmes sont capables de construire une version convaincante de l'être humain. Ils s'inspirent de la manière des comportements humains.

Ils plagient notamment la manière dont les gens ont déjà expliqué la peur, la culpabilité, le désir et le doute de soi les uns aux autres, même s'ils n'ont jamais ressenti eux-mêmes ces émotions. Il n'est pas surprenant que l'IA puisse imiter la compréhension. Même les humains ne s'accordent pas entièrement sur la signification réelle de la conscience ou de l'intelligence, et les systèmes actuels ne font que refléter les modèles qu'il a appris à partir du langage.

Alors que les entreprises spécialisées dans l'IA affirment que leurs systèmes évoluent vers une AGI, les réactions en dehors du secteur ont commencé à suivre cette prémisse jusqu'à sa conclusion logique. Plus les modèles imitent de manière convaincante la pensée et les émotions, plus certains utilisateurs les considèrent comme des entités proches de l'esprit humain plutôt que comme des outils, ce que certains experts jugent dangereux.

Anil Seth, professeur en neurosciences et directeur du Centre for Consciousness Science (SCCS) à l’Université du Sussex, souligne que notre fascination pour l’IA consciente vient en partie de la culture et de l’histoire. Le professeur a cité des exemples comme Yossele le Golem, Frankenstein, HAL 9000 et Klara dans Klara and The Sun, montrant que « le rêve de créer des corps artificiels et des esprits synthétiques qui pensent et ressentent finit rarement bien ».

Anil Seth a mis en garde contre une erreur de perspective de plus en plus courante : prendre des systèmes très performants et très “expressifs” pour des entités conscientes. À mesure que les IA deviennent capables de dialoguer de façon fluide, d’imiter des émotions et de tenir des propos introspectifs, il devient tentant de leur attribuer une vie intérieure. Or, cette tentation repose sur une projection humaine plutôt que sur une réalité scientifique.

Dans son article, le professeur Anil Seth affirme que « l'intelligence et la conscience sont deux choses différentes ». L'intelligence concerne principalement l'action : résoudre des mots croisés, assembler des meubles, gérer une situation familiale délicate, se rendre à pied au magasin... Toutes ces activités impliquent un comportement intelligent d'une certaine manière. La conscience, contrairement à l'intelligence, concerne principalement l'être.

Roger Penrose, lauréat du prix Nobel de physique, s'oppose aux déclarations de certains leaders de l'industrie selon lesquels l'IA a une « conscience de soi ». Il estime que « la conscience n'est pas calculable » et que l'IA, telle que nous la connaissons, ne parviendra jamais à une véritable intelligence. Selon lui, il est important de comprendre la physique sous-jacente de la conscience, qui, selon lui, n'est pas calculable et implique la réalité quantique.

Il a déclaré que la conscience est un phénomène physique enraciné dans la physique non calculable, impliquant éventuellement la réalité quantique. Par conséquent, l'IA, qui s'appuie sur des règles de calcul, ne pourra jamais atteindre une véritable conscience. Selon lui, le théorème de Gödel détruit ce mythe.

En outre, le professeur a souligné que le nom « intelligence artificielle » n'est pas le bon, car il ne s'agit pas d'intelligence. « Le nom n'est pas le bon. Il ne s'agit pas d'une intelligence artificielle. Ce n'est pas de l'intelligence. L'intelligence implique la conscience », a expliqué Roger Penrose lors de son interview.

Source : Anthropic

Et vous ?

L’humanité a-t-elle a craindre d’une technologie dont la conscience et l’intelligence sont remis en question par de nombreux observateurs de la filière intelligence artificielle ?
Partagez-vous les avis selon lesquels la dernière sortie d’Anthropic en la matière relève plus du sensationnalisme qu’autre chose ?

Voir aussi :

L'IA est trop imprévisible pour se conformer aux intentions humaines : son comportement reste un défi majeur pour l'alignement sur nos valeurs, d'après les conclusions des chercheurs

Tout droit sorti d'un film de science-fiction : une IA a réussi à réécrire son propre code pour empêcher les humains de l'arrêter. Le modèle o3 d'OpenAI aurait contourné un script d'arrêt 7 fois sur 100

Un modèle d'IA est capable de simulation d'alignement : un comportement où l'IA semble suivre les instructions, mais elle ne fait que semblant pour conserver ses principes de pré-formation, selon Anthropic