IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

OpenAI a vu démissionner trois des cadres chargés de s'assurer que les humains sont à l'abri de la superintelligence.
Ilya Sutskever, cofondateur d'OpenAI, a tenté de faire éjecter Sam Altman l'année dernière

Le , par Stéphane le calme

247PARTAGES

6  0 
La semaine même où OpenAI a attiré l'attention du monde entier pour la publication de son dernier modèle d'IA, des dirigeants de premier plan, Ilya Sutskever (cofondateur et scientifique en chef d'OpenAI) et Jan Leike (qui a codirigé le groupe « superalignement » d'OpenAI, une équipe qui s'efforce d'aligner ses systèmes d'intelligence artificielle sur les intérêts humains), ont annoncé qu'ils quittaient l'entreprise. Si l'on ajoute à cela le départ d'Andrej Karpathy en février, il semble que les personnes les plus engagées dans le développement d'une IA sûre et centrée sur l'humain aient quitté l'entreprise.

Deux employés chevronnés d'OpenAI, Ilya Sutskever et Jan Leike, ont annoncé leur démission. Cette décision intervient six mois après une tentative infructueuse d'éviction du PDG Sam Altman de la société d'intelligence artificielle.

Sutskever, qui a cofondé la start-up de San Francisco et y travaille depuis près de dix ans, a indiqué qu'il quittait son rôle de scientifique en chef dans un message publié sur X. Qualifiant la croissance d'OpenAI de « tout simplement miraculeuse », Sutskever s'est dit convaincu que l'entreprise construira une IA « à la fois sûre et bénéfique » sous la direction d'Altman, du président et cofondateur Greg Brockman et de la directrice de la technologie Mira Murati.

Il a également félicité Jakub Pachocki pour l'avoir remplacé en tant que scientifique en chef d'OpenAI.

« Ce fut un honneur et un privilège de travailler ensemble, et tout le monde me manquera énormément. À bientôt, et merci pour tout », a écrit Sutskever. « Je suis enthousiaste pour la suite - un projet qui me tient personnellement à cœur et dont je partagerai les détails en temps voulu ».

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of <a href="https://twitter.com/sama?ref_src=twsrc%5Etfw">@sama</a>, <a href="https://twitter.com/gdb?ref_src=twsrc%5Etfw">@gdb</a>, <a href="https://twitter.com/miramurati?ref_src=twsrc%5Etfw">@miramurati</a> and now, under the…</p>— Ilya Sutskever (@ilyasut) <a href="https://twitter.com/ilyasut/status/1790517455628198322?ref_src=twsrc%5Etfw">May 14, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

Leike, qui a codirigé le groupe dit de superalignement à OpenAI, a été moins loquace au sujet de sa démission, faisant l'annonce sur X simplement avec les mots « J'ai démissionné ».

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">I resigned</p>— Jan Leike (@janleike) <a href="https://twitter.com/janleike/status/1790603862132596961?ref_src=twsrc%5Etfw">May 15, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

Leike et Sutskever dirigeaient l'équipe de superalignement d'OpenAI, qui a connu un certain nombre de départs au cours des derniers mois

C'est en juillet qu'OpenAI a mis sur pieds une division de recherche « d'alignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maitriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

Il s’agit d’une intelligence artificielle, encore au stade hypothétique, capable de surpasser l’esprit humain, explique OpenAI. Cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».

Citation Envoyé par OpenAI
La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.
« Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous », a déclaré OpenAI à propos du superalignement dans un message publié le 5 juillet 2023 sur son site web. « Pour résoudre ce problème d'ici quatre ans, nous créons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et nous consacrons à cet effort 20 % du calcul que nous avons obtenu à ce jour. »

Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».

Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.

« Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Eric80
Membre éprouvé https://www.developpez.com
Le 09/07/2024 à 15:51
Il y a peut-être aussi une autre raison bassement pécuniaire: tout ces beaux cerveaux n'ont ils pas décroché le jackpot en tant qu'employés d OpenAI? Leurs stocks-options les ont tous rendu millionnaires, non? On peut bien quitter le bateau qd on reçoit qques millions de cash!
3  0 
Avatar de
https://www.developpez.com
Le 29/01/2025 à 14:33
Les craintes de Steven Adler font écho à des préoccupations exprimées par certains des plus grands chercheurs en IA du monde avant lui. Stuart Russell, professeur d'informatique à l'université de Californie à Berkeley, a déclaré au Financial Times que « la course à l'IA est une course au bord de la falaise ».

Stuart Russell explique notamment : « même les chefs d'entreprises qui s'engagent dans la course ont déclaré que le vainqueur a une forte probabilité de provoquer l'extinction de l'humanité, car nous n'avons aucune idée de la manière de contrôler des systèmes plus intelligents que nous ».
Hum, ça fait un moment que nous ne sommes plus au bord de la falaise ...

Une AGI orientée vers la doctrine de l'ennemi ou une doctrine "full spectrum dominance" provoquera l'extinction de l'espèce humaine.
Logiquement, à partir des stratégies développées actuellement au sein d'un jeu (mondial) à somme nulle ...
Côté humain, l'incontrôle est lié à la fascination de l'ego : l'ego, ultimement pour "exister" à partir de sa non-existence doit se légitimer en faisant disparaître son support (physique : c'est décrit notamment dans " la doctrine suprême" ; c'est comme un reflet de ce fameux "vide" ou vacuité dans la "pensée" zen, qui n'est pas une pensée, au passage) et cela a à voir avec l'élément (l'individu, de fait l'espèce humaine) et non l'ensemble (l'humanité).

De mon point de vue, cela peut-être "modélisé" sous la forme d'un attracteur et lié à un biais cognitif (pensée à somme nulle) inhérent au fait de "baigner" dans un jeu à somme nulle (sans parler du côté addictif agissant comme un renforcement).
Donc il s'agit de franchir l'abîme, en fait.
0  0 
Avatar de
https://www.developpez.com
Le 30/01/2025 à 2:43
Folklore, fantasmes et psychose collective ne font pas bon ménage.

Il y a des milliers d'ogives nucléaires virtuellement prêtes à servir de part et d'autre de la planète. Une demi-douzaine de missiles suffirait pour en finir avec l'humanité, ou en tout cas avec le monde "moderne". Nous vivons avec cette épée de Damocles au-dessus de la tête depuis plus de 80 ans et personne ne cris au loup sur X pour autant. Par contre l'AGI n'est techniquement pas définie, si ce n'est sous forme de punchline, et tout l'Occident s'affole.
0  0