Ilya Sutskever a présenté sa nouvelle entreprise d'IA dans un billet de blogue mercredi. L'ancien responsable de la sécurité des produits d'IA chez OpenAI a déclaré d'emblée que la construction d'une superintelligence est le problème technique le plus important de notre époque. L'annonce décrit SSI comme une startup qui "aborde la sécurité et les capacités en tandem", ce qui permet à l'entreprise de faire progresser rapidement son système d'IA tout en donnant la priorité à la sécurité. Elle souligne aussi les pressions externes auxquelles sont souvent confrontées les équipes d'IA d'entreprises telles qu’OpenAI, Google et Microsoft.
Le billet précise que la "focalisation unique" de SSI lui permet d'éviter d'être "distraite par les frais généraux de gestion ou les cycles de produits". Il manque toutefois des détails sur la manière dont la startup compte accomplir sa mission. Sutskever a apporté quelques éclaircissements à Bloomberg, mais a refusé de parler de sa situation financière ou de son évaluation. À en juger par l'intérêt porté à l'IA et par les références impressionnantes de l'équipe, il se pourrait que la startup croule sous les capitaux très bientôt. L'équipe a d'ailleurs assuré à Bloomberg que la recherche de capitaux ne sera pas un problème pour la startup.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">I am starting a new company: <a href="https://t.co/BG3K3SI3A1">https://t.co/BG3K3SI3A1</a></p>— Ilya Sutskever (@ilyasut) <a href="https://twitter.com/ilyasut/status/1803472978753303014?ref_src=twsrc%5Etfw">June 19, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
SSI a été cofondée par Ilya Sutskever, cofondateur et ancien responsable scientifique d'OpenAI, Daniel Gross, ancien partenaire de l'accélérateur de startup Y Combinator, et Daniel Levy, ancien ingénieur d'OpenAI. « De tous les problèmes auxquels nous sommes confrontés, la recherche de capitaux ne sera pas l'un d'entre eux », a déclaré Gross à Bloomberg. SSI a des bureaux à Palo Alto, en Californie, et à Tel-Aviv, en Israël, où la startup recrute actuellement des talents techniques. Selon les analystes, la mission que s'est donnée SSI pourrait attirer les anciens collaborateurs de Sutskever qui ont aussi quitté OpenAI.
Envoyé par Safe Superintelligence Inc.
Dans un billet de blogue publié en 2023, en collaboration avec Leike, Sutskever a prédit que l'IA dotée d'une intelligence supérieure à celle des humains pourrait arriver dans la décennie, et qu'à ce moment-là, elle ne sera pas nécessairement bienveillante, ce qui nécessitera des recherches sur les moyens de la contrôler et de la restreindre. Aujourd'hui, il est manifestement plus engagé que jamais dans cette cause. Selon les analystes, ce qui pourrait aussi attirer les talents vers SSI, c'est que la startup est conçue dès le départ comme une entité à but lucratif, et non comme une simple organisation à but non lucratif travaillant sur l'AGI.
Sutskever a tiré des leçons de son passage chez OpenAI et est conscient que le développement de l'IA requiert d'énormes investissements. Contrairement à SSI, OpenAI a été lancée en 2015 comme une entité à but non lucratif, mais l'entreprise s'est restructurée en 2019 pour créer une filiale à but lucratif lorsqu'elle a compris qu'elle avait besoin d'énormes sommes d'argent pour investir dans la puissance de calcul. Cette initiative a créé des désaccords internes, poussant Sutskever à soutenir l'éviction d'Altman du poste de PDG d'OpenAI. Atman était accusé de donner la priorité au profit au détriment de la sécurité.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Superintelligence is within reach.<br><br>Building safe superintelligence (SSI) is the most important technical problem of our​​ time.<br><br>We've started the world’s first straight-shot SSI lab, with one goal and one product: a safe superintelligence.<br><br>It’s called Safe Superintelligence…</p>— SSI Inc. (@ssi) <a href="https://twitter.com/ssi/status/1803472825476587910?ref_src=twsrc%5Etfw">June 19, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
Sutskever a regretté son action et a contribué au retour d'Altman. Mais à partir de ce moment-là, Sutskever s'est fait discret et a laissé planer l'incertitude sur son avenir au sein d'OpenAI. Puis, à la mi-mai, Sutskever a annoncé son départ d'OpenAI, affirmant que "le lancement de produits brillants" a pris le pas sur les processus de sécurité. Gretchen Krueger, ancienne chercheuse en politique chez OpenAI, a également mentionné des problèmes de sécurité lors de l'annonce de son départ. En annonçant son départ, Sutskever avait également déclaré qu'il dévoilerait son prochain projet "en temps voulu". C'est désormais chose faite.
Alors qu'OpenAI a conclu des partenariats avec Apple et Microsoft, il est peu probable que SSI fasse de même dans un avenir proche. Sutskever a déclaré que le premier produit de SSI serait une IA sûre et que "l'entreprise ne ferait rien d'autre" d'ici là. « Cette entreprise est spéciale en ce sens que son premier produit sera la superintelligence sûre, et qu'elle ne fera rien d'autre jusqu'à ce moment-là. Elle sera totalement isolée des pressions extérieures liées à la gestion d'un produit vaste et complexe et à la course à la concurrence », a-t-il déclaré. Mais selon certains critiques, la sécurité de l'IA est une notion subjective.
Envoyé par Critique
Selon certains analystes, cela fait ressembler ce lancement à un exercice connu sous le nom : ubiquité d'abord, revenus ensuite (Ubiquity first, Revenue Later - URL). Il s'agit d'un modèle de revenus rendu célèbre par Eric Schmidt, PDG de Google de 2001 à 2011.
Source : Safe Superintelligence Inc.
Et vous ?
Quel est votre avis sur le sujet ?
Que pensez-vous de la nouvelle entreprise d'IA de Ilya Sutskever et de sa mission ?
Que vous inspire la question de la sécurité de l'IA ? L'industrie peut-elle créer une superintelligence sûre ?
Selon vous, quels sont les principaux critères pouvant permettre d'affirmer qu'une IA est sûre ? Qui décidera de ces critères ?
La mission de la nouvelle startup d'Ilya Sutskever est-elle un vœu pieux pour attirer les investisseurs et bénéficier de la sympathie du public ?
Voir aussi
Tous les employés d'OpenAI qui quittent le navire sont-ils de simples alarmistes, ou le signe d'une profonde crise de confiance sur la nouvelle direction que Sam Altman impose à OpenAI ?
Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT et déclare : "je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique."
Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness