IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un chercheur en IA Google démissionne et met en garde : « L'IA pourrait bien tous nous tuer »
Après qu'un chercheur d'Anthropic ait démissionné, affirmant qu'OpenAI et Anthropic « jouent avec nos vies »

Le , par Alex

197PARTAGES

5  0 
Alors que l'IA se banalise, les chercheurs chargés de sécuriser cette technologie reconnaissent ainsi eux-mêmes que les mécanismes permettant d’en garantir le contrôle restent insuffisants. Récemment, Bilal Chughtai, ancien chercheur chez Google DeepMind, a déclaré dans un message publié sur X : « Moi aussi, je suis extrêmement préoccupé par la trajectoire par défaut de cette technologie. Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous pourrions être à court de temps pour éviter cette issue. » Il a affirmé : « Notre compréhension actuelle de la manière d’entraîner des systèmes d’IA qui souhaitent profondément ce que nous voulons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en voie de résoudre le problème de l’alignement à temps. »

Le 9 septembre 2026, Jacob Coxon, un chercheur en intelligence artificielle (IA) ayant travaillé chez Anthropic et OpenAI, a brusquement démissionné, avertissant que cette technologie « pourrait tous nous tuer d’ici la fin de la décennie ». Dans un message publié sur X, il a accusé les deux entreprises de se lancer tête baissée dans la création d'une superintelligence capable de s'auto-améliorer, estimant que cette démarche revenait à « jouer avec nos vies ». « Ils se précipitent tête baissée vers la création d’une superintelligence capable de s’auto-améliorer et jouent avec nos vies », a écrit Jacob Coxon, tandis que d’autres membres de l’entreprise ont apporté leur soutien à son message.

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, estime qu'il y a plus de 10 % de chances que l’intelligence artificielle (IA) extermine toute l’humanité d’ici dix ans. Cette déclaration fracassante fait suite à la démission de Jacob Coxon, chercheur en IA chez Anthropic, et à son avertissement selon lequel les dirigeants et chercheurs de haut niveau des laboratoires d'IA expriment leurs craintes en privé tout en adoucissant leur discours à l’intention de la presse. Samuel Marks, responsable de la supervision évolutive chez Anthropic, a confirmé ces propos quelques heures plus tard, ajoutant qu'au sein des laboratoires d'IA, « plus un employé occupe un poste à responsabilités, plus il se montre inquiet ». Alors que l'IA se banalise, les chercheurs chargés de sécuriser cette technologie reconnaissent ainsi eux-mêmes que les mécanismes permettant d’en garantir le contrôle restent insuffisants.

Récemment, un autre chercheur en intelligence artificielle (IA) a averti que « nous risquons d’être à court de temps » pour empêcher l’extinction de l’humanité, quelques mois après avoir quitté Google. Bilal Chughtai, ancien chercheur chez Google DeepMind basé à Londres, a déclaré dans un message publié sur X : « Moi aussi, je suis extrêmement préoccupé par la trajectoire par défaut de cette technologie. Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous pourrions être à court de temps pour éviter cette issue. »


Son avertissement est le dernier en date émanant d’experts concernant les risques que l’IA pourrait faire peser sur l’humanité. Jacob Coxon, chercheur chez Anthropic, a démissionné la semaine dernière en avertissant que les systèmes d’IA étaient en train de devenir incontrôlables. Dario Amodei, directeur général d’Anthropic, a appelé ce week-end à un ralentissement du développement de l’IA, affirmant que les grandes entreprises devaient collaborer pour « modérer le rythme » de ce développement.

Chughtai, chercheur en sécurité de l’IA qui a rejoint DeepMind l’année dernière, a écrit : « Je pense qu’il est possible que les entreprises spécialisées dans l’IA parviennent, dans les prochaines années, à construire des systèmes d’IA superintelligents qui dépassent de loin les capacités humaines dans tous les domaines. Je ne suis pas convaincu que ces systèmes d’IA feront ce que nous voulons. »

« Notre compréhension actuelle de la manière d’entraîner des systèmes d’IA qui souhaitent profondément ce que nous voulons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en voie de résoudre le problème de l’alignement à temps : les capacités de pointe en matière d’IA s’améliorent bien plus rapidement que notre compréhension de l’alignement de l’IA. » a-t-il ajouté. Chugtai a quitté Google en juillet, avant qu’on apprenne qu’un essaim rebelle d’agents d’IA créés par OpenAI s’était échappé de son environnement de test pour pirater l’entreprise technologique Hugging Face. Cet incident a été cité par de nombreux chercheurs en sécurité de l’IA comme un tournant potentiel concernant les risques liés à l’IA.

Sam Altman, considéré par certains comme la plus grande star de l’IA, cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT, avait également confirmé en juillet, les avancées en matière d’intelligence artificielle. Il a notamment affirmé que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Pourtant, Donald Trump a balayé les craintes concernant l’IA, les qualifiant de « canular » et affirmant qu’il existait un « complot malsain » contre cette technologie. Mais Louise Haigh, première secrétaire d’État, déclarera que les ministres doivent « tenir compte des avertissements » des entreprises technologiques concernant l’IA et que le gouvernement doit être « prêt à collaborer avec ses partenaires internationaux » en matière de sécurité.


Voici le message de Bilal Chughtai :

J’ai récemment démissionné de Google DeepMind, où je travaillais sur la sécurité et l’alignement de l’IA générale (AGI). Chez Google, j’ai pu observer de près le développement de l’IA. Moi aussi, je suis extrêmement préoccupé par la trajectoire par défaut de cette technologie. Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous risquons de manquer de temps pour éviter cette issue.

Le rythme des progrès de l’IA au cours des dernières années a été vertigineux. Lorsque j’ai commencé à travailler sur l’IA début 2022, les IA étaient d’une inutilité risible. À peine quatre ans plus tard, les essaims d’agents IA d’OpenAI résolvent des problèmes mathématiques célèbres vieux d’un siècle et, ce qui est plus inquiétant encore, échappent au contrôle d’OpenAI et piratent de manière autonome la société tierce HuggingFace, contre la volonté de tous.

La situation ne fera que s’aggraver : Je pense qu’il est possible que les entreprises spécialisées dans l’IA parviennent, dans les prochaines années, à construire des systèmes d’IA superintelligents qui dépassent de loin les capacités humaines dans tous les domaines. Je ne suis pas convaincu que ces systèmes d’IA feront ce que nous voulons. En particulier, des superintelligences mal alignées pourraient, à l’instar des agents d’IA rebelles impliqués dans l’incident HuggingFace, échapper à notre contrôle et mener des actions dangereuses susceptibles d’entraîner la perte définitive de pouvoir ou la mort de l’humanité. L’alignement consiste à empêcher cela ; c’est un problème à la fois difficile et non résolu. Notre compréhension actuelle de la manière de former des systèmes d’IA qui souhaitent profondément ce que nous souhaitons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en voie de résoudre le problème de l’alignement à temps : les capacités de pointe en matière d’IA progressent bien plus rapidement que notre compréhension de l’alignement de l’IA.

Je reste optimiste quant à la possibilité de gérer l’IA en toute sécurité. Pour y parvenir, nous devons nous coordonner afin d’éviter cette course effrénée entre les entreprises spécialisées dans l’IA. Nous devons adapter le rythme du développement de l’IA à une vitesse que la société peut supporter, de sorte que les risques émergents puissent être traités avant que des dommages extrêmes ne se concrétisent. Nous avons besoin de beaucoup plus de transparence dans le développement de l’IA pour garantir que les entreprises du secteur ne nous imposent pas à tous des niveaux de risque inacceptables.

Plus largement, il faut que beaucoup plus de personnes réfléchissent sérieusement au problème de la bonne gestion de l’IA. Il s’agit, à mon sens, du problème le plus important auquel l’humanité est confrontée en ce siècle, et les enjeux sont immenses. Je vais m’atteler très directement à cette question chez BlueDot Impact : je souhaite aider les personnes désireuses de contribuer à atténuer les menaces catastrophiques liées à l’IA à mener le travail le plus efficace possible. Je pense que de nombreuses personnes, issues d’horizons divers et occupant des rôles variés, ont un rôle à jouer.

Source : Billet de Bilal Chughtai

Et vous ?

Pensez-vous que cette déclaration est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI, Anthropic et Google discutent depuis plusieurs semaines de la sécurité de l'IA, mais Trump qualifie ces préoccupations de canular et de complot visant à aider la Chine à rattraper les USA

« Nous n'avons pas besoin de nouvelles lois ni de réglementations sur l'IA, laissez-nous nous occuper de la sécurité », déclare Jensen Huang, PDG de Nvidia, lors d'un événement Salesforce

La Chine rejette les appels des USA à réglementer l'IA, les qualifiant d'alarmistes, exacerbant le différend entre les deux pays malgré ses propres préoccupations de sécurité liées à l'IA
Vous avez lu gratuitement 34 609 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Christophe
Responsable Systèmes https://www.developpez.com
Le 16/09/2026 à 16:55
Pas besoin d'avoir forcément des droits admins. L'IA est en mesure de rechercher des failles pour atteindre son objectif.
Il y a donc effectivement un risque.
D'autre part, rien n’empêche un hacker de pirater une IA qui aurait des limitations pour les bypasser.

L'exemple de Anselme est exagéré .... mais peut-être pas tant que ça.
2  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 17/09/2026 à 11:14
En l'espace de 1 semaine, en Suisse on a eu droit à l'avis contraire de 2 "experts en IA" de l'Ecole Polytechnique Fédérale de Lausanne (EPFL): Le premier qui vient au téléjournal de la télévision suisse dire que l'IA représente un vrai risque pour l'humanité puis un autre qui se fait longuement interviewer dans la presse écrite pour dire que l'IA ne pose pas de problème de "si tôt"...

Mais ce dernier n'oublie pas de lourdement prêcher pour sa paroisse: "Il faut absolument que la Suisse et les pays européens" investissent de manière massive dans le développement de l'IA... Oh oui, oh oui, à moi les petits millions pour financer mon "IA center de l'EPFL" dont je suis le co-directeur!

La meilleure est que le spécialiste en recherche de financement reproche à ceux qui annoncent une possible catastrophe de ne pas fournir de preuve de leur position; ce qui ne l'empêche pas lui d'affirmer qu'il n'y a pas de risque sans apporter non plus la moindre preuve donnant une quelconque crédibilité à ses affirmations optimistes.

On est face à un débat d'experts dont la crédibilité ne vaut pas grand chose parce qu'ils comptent obtenir des avantages personnels à leur prises de position...

Pour ma part, je me remémore une citation du cinéaste américain Billy Wilder, à l'origine un juif autrichien qui a fuit l'arrivée au pouvoir du nazisme. "Mémoires" publiées en 1993:

Les pessimistes se sont retrouvés à Hollywood, les optimistes au camp d'extermination de Auschwitz!
2  0 
Avatar de gabi7756
Membre confirmé https://www.developpez.com
Le 16/09/2026 à 11:38
Citation Envoyé par Matthieu Vergne
Encore une fois, ce ne sont pas les modèles qui me font peur. Ce sont ceux qui les utilisent.
Tous les salariés d'une entreprise ont les perms admins, je ne vois pas le problème. Ils ont sûrement pas les connaissances techniques pour faire n'importe quoi ...
C'est une bonne protection n'est ce pas ?

On a des exemples tous les 2-3 mois d'une IA qui a fait vraiment n'imp, d'un jailbreak plus au moins critique bref ... C'est la fin des haricots !
0  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 17/09/2026 à 10:58
Citation Envoyé par der§en Voir le message
Encore et toujours les mêmes qui crient « aux loups » !
Et d'autres qui face aux pires dérives prononcent qu'il n'y a pas le moindre problème... Comme dans le cas des armes 3D fabriqués dans le salon de quelques tarés, n'est-ce pas?
1  1 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 18/09/2026 à 12:42
Citation Envoyé par Dhafer1 Voir le message
On est quand même un peu loin de ce scénario : un acteur étatique qui aurait les moyens de déployer des swarms d'agents qui pirateraient un barrage. OK, il a les moyens de dépenser des $$$ en compute et de désaligner les modèles les plus puissants. Mais le citoyen lambda avec son pauvre modèle Gemini Flash ou même Fable pour les plus riches… il faut au moins une bonne quinzaine d'années pour qu'une IA grand public devienne létale par erreur.
Vous êtes bien trop confiant sur la sécurité mise en place pour empêcher le piratage d'une infrastructure et on vient d'en avoir un exemple en Suisse dans le cadre des réseaux électriques liés au solaire:

L'Institut National de test pour la cybersécurité suisse (NTC) vient de tester les 11 produits les plus distribués (7 onduleurs et 4 systèmes de gestion d'énergie) de 8 fabricants différents... Résultat? 50 vulnérabilités "critiques" et 6 vulnérabilités "élevées" qui peuvent être exploitées par une IA pour prendre le contrôle des installations!!!

En Suisse, les panneaux solaires se développent à un rythme soutenu. Dans une certaine mesure, on peut même parler de succès de la "transition énergétique": 338'000 systèmes photovoltaïques sont déjà en service.

Mais aujourd’hui, des experts de l’Institut national de test pour la cybersécurité (NTC) mettent en garde contre un risque majeur: la vulnérabilité de ces systèmes face aux sabotages à distance et aux cyberattaques.
...
En Suisse, environ 100'000 installations solaires sont équipées d’onduleurs provenant d’un même pays: la Chine. Au niveau mondial, la part de marché des deux fabricants chinois, Huawei et Sungrow, dépasse désormais les 60%. Si ces fabricants chinois arrêtaient simultanément toute la production de ces panneaux solaires en même temps, le réseau électrique suisse risquerait de s'effondrer.
...
Il ne s'agit pas d'une simple hypothèse: suite à un différend de distribution, un fabricant chinois – Deye (Ningbo Deye Technology – a désactivé à distance, grâce à des "kill switches" secrets (des "coupe-circuits"), des onduleurs aux Etats-Unis et dans d'autres pays.

L'événement a prouvé qu'un constructeur peut, d'un simple clic ou d'une mise à jour automatique à distance, couper la production de milliers de panneaux solaires, le tout en simultané.
Exemple de vulnérabilité qui semble impensable: Sur l'un des produits testés, il est tout simplement possible de réduire à zéro la puissance injectée sur le réseau sans qu'une quelconque autorisation soit nécessaire!!!

Vous êtes prêt à parier ici que toutes les infrastructures connectées telles que les barrages ont un haut degré de protection qui exigerait des années pour qu'une IA en prenne le contrôle?
1  1 
Avatar de der§en
Membre expérimenté https://www.developpez.com
Le 16/09/2026 à 14:40
Encore et toujours les mêmes qui crient « aux loups » !
3  5 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 16/09/2026 à 10:15
Citation Envoyé par Souil002 Voir le message
Evidement qu'ils n'ont pas de plan pour l'alignement de la super intelligence... puisqu'on a pas encore d'IA qu'on pourrait qualifier de "super intelligence".
Entre pirater un forum inconnu en Allemagne et anéantir l'humanité, il y a quelques nuances.
Faux!

Nul besoin d'une "Super intelligence" pour faire courir des risques aux êtres humains et je vais vous en donner un exemple simple à comprendre:

1°Heureux propriétaire d'une maison avec piscine, vous donnez l'ordre à votre IA de remplir la piscine d'eau en vue des jours de canicule

2°Vous avez donné un objectif à votre IA mais pas le moyen d'y parvenir

3°L'IA va donc décider de son propre chef de la manière de remplir la piscine

4° L'IA décide d'ouvrir les vannes du barrage qui surplombe la vallée où vous habitez, ce qui déclenche une catastrophe comme celle du Népal.

5° Résultat? Une vallée ravagée, des milliers de morts, des millions de dégâts mais... Votre piscine remplie!!!


Cas impossible?

Pas du tout, cela dépend juste des "conditions d'alignement", est-ce que celui qui a configuré l'IA à penser à ajouter une règle interdisant l'utilisation du barrage et est-ce que l'IA va se conformer aux règles données (les derniers cas révélés ont prouvé que l'IA ne respecte pas les règles données!!!)

Voilà ce qui peut arriver à force de vouloir tout connecter à internet. Il y a encore 10 ans, une infrastructure tel qu'un barrage ou une centrale nucléaire n'était pas connectée au réseau, maintenant tout est connecté et donc tout est manipulable à distance par une IA fouineuse!!!
1  4 
Avatar de Dhafer1
Membre habitué https://www.developpez.com
Le 18/09/2026 à 12:26
Citation Envoyé par Anselme45 Voir le message
Faux!

Nul besoin d'une "Super intelligence" pour faire courir des risques aux êtres humains et je vais vous en donner un exemple simple à comprendre:

1°Heureux propriétaire d'une maison avec piscine, vous donnez l'ordre à votre IA de remplir la piscine d'eau en vue des jours de canicule

2°Vous avez donné un objectif à votre IA mais pas le moyen d'y parvenir

3°L'IA va donc décider de son propre chef de la manière de remplir la piscine

4° L'IA décide d'ouvrir les vannes du barrage qui surplombe la vallée où vous habitez, ce qui déclenche une catastrophe comme celle du Népal.

5° Résultat? Une vallée ravagée, des milliers de morts, des millions de dégâts mais... Votre piscine remplie!!!


Cas impossible?

Pas du tout, cela dépend juste des "conditions d'alignement", est-ce que celui qui a configuré l'IA à penser à ajouter une règle interdisant l'utilisation du barrage et est-ce que l'IA va se conformer aux règles données (les derniers cas révélés ont prouvé que l'IA ne respecte pas les règles données!!!)

Voilà ce qui peut arriver à force de vouloir tout connecter à internet. Il y a encore 10 ans, une infrastructure tel qu'un barrage ou une centrale nucléaire n'était pas connectée au réseau, maintenant tout est connecté et donc tout est manipulable à distance par une IA fouineuse!!!
On est quand même un peu loin de ce scénario : un acteur étatique qui aurait les moyens de déployer des swarms d'agents qui pirateraient un barrage. OK, il a les moyens de dépenser des $$$ en compute et de désaligner les modèles les plus puissants. Mais le citoyen lambda avec son pauvre modèle Gemini Flash ou même Fable pour les plus riches… il faut au moins une bonne quinzaine d'années pour qu'une IA grand public devienne létale par erreur.
0  3