Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, a dévoilé son nouveau point de chute dans un billet de blogue mercredi. Il lance une nouvelle startup baptisée Safe Superintelligence Inc. (SSI) avec "un seul objectif et un seul produit" : créer une superintelligence sûre et puissante. Il promet que sa nouvelle société donnera la priorité à la sécurité plutôt qu'aux "pressions commerciales", critiquant ainsi la nouvelle direction donnée par Sam Altman à OpenAI. Son départ d'OpenAI a été précipité par son soutien au licenciement de Sam Altman et les désaccords sur la priorité de l'entreprise en ce qui concerne la sécurité et les profits.Ilya Sutskever a présenté sa nouvelle entreprise d'IA dans un billet de blogue mercredi. L'ancien responsable de la sécurité des produits d'IA chez OpenAI a déclaré d'emblée que la construction d'une superintelligence est le problème technique le plus important de notre époque. L'annonce décrit SSI comme une startup qui "aborde la sécurité et les capacités en tandem", ce qui permet à l'entreprise de faire progresser rapidement son système d'IA tout en donnant la priorité à la sécurité. Elle souligne aussi les pressions externes auxquelles sont souvent confrontées les équipes d'IA d'entreprises telles qu’OpenAI, Google et Microsoft.
Le billet précise que la "focalisation unique" de SSI lui permet d'éviter d'être "distraite par les frais généraux de gestion ou les cycles de produits". Il manque toutefois des détails sur la manière dont la startup compte accomplir sa mission. Sutskever a apporté quelques éclaircissements à Bloomberg, mais a refusé de parler de sa situation financière ou de son évaluation. À en juger par l'intérêt porté à l'IA et par les références impressionnantes de l'équipe, il se pourrait que la startup croule sous les capitaux très bientôt. L'équipe a d'ailleurs assuré à Bloomberg que la recherche de capitaux ne sera pas un problème pour la startup.
I am starting a new company: https://t.co/BG3K3SI3A1
— Ilya Sutskever (@ilyasut) June 19, 2024
SSI a été cofondée par Ilya Sutskever, cofondateur et ancien responsable scientifique d'OpenAI, Daniel Gross, ancien partenaire de l'accélérateur de startup Y Combinator, et Daniel Levy, ancien ingénieur d'OpenAI. « De tous les problèmes auxquels nous sommes confrontés, la recherche de capitaux ne sera pas l'un d'entre eux », a déclaré Gross à Bloomberg. SSI a des bureaux à Palo Alto, en Californie, et à Tel-Aviv, en Israël, où la startup recrute actuellement des talents techniques. Selon les analystes, la mission que s'est donnée SSI pourrait attirer les anciens collaborateurs de Sutskever qui ont aussi quitté OpenAI.
Envoyé par Safe Superintelligence Inc.
La superintelligence est à portée de main.
SSI est notre mission, notre nom et l'ensemble de notre feuille de route, car c'est notre unique objectif. Notre équipe, nos investisseurs et notre modèle d'entreprise sont tous alignés sur la réalisation de SSI.
Nous abordons la sécurité et les capacités en tandem, comme des problèmes techniques à résoudre grâce à une ingénierie révolutionnaire et à des percées scientifiques. Nous prévoyons de faire progresser les capacités aussi rapidement que possible tout en veillant à ce que notre sécurité reste toujours en tête.
De cette manière, nous pouvons évoluer en toute sérénité.
Notre objectif unique signifie qu'il n'y a pas de distraction due aux frais généraux de gestion ou aux cycles des produits, et notre modèle d'entreprise signifie que la sûreté, la sécurité et le progrès sont tous à l'abri des pressions commerciales à court terme.
Nous sommes une entreprise américaine avec des bureaux à Palo Alto et Tel-Aviv, où nous avons des racines profondes et la capacité de recruter les meilleurs talents techniques.
Nous sommes en train de constituer une équipe légère et soudée, composée des meilleurs ingénieurs et chercheurs du monde, qui se consacrera exclusivement à la SSI.
Si c'est votre cas, nous vous offrons l'opportunité de faire le travail de votre vie et de contribuer à résoudre le défi technique le plus important de notre époque.
Dans un billet de blogue publié en 2023, en collaboration avec Leike, Sutskever a prédit que l'IA dotée d'une intelligence supérieure à celle des humains pourrait arriver dans la décennie, et qu'à ce moment-là, elle ne sera pas nécessairement bienveillante, ce qui nécessitera des recherches sur les moyens de la contrôler et de la restreindre. Aujourd'hui, il est manifestement plus engagé que jamais dans cette cause. Selon les analystes, ce qui pourrait aussi attirer les talents vers SSI, c'est que la startup est conçue dès le départ comme une entité à but lucratif, et non comme une simple organisation à but non lucratif travaillant sur l'AGI.
Sutskever a tiré des leçons de son passage chez OpenAI et est conscient que le développement de l'IA requiert d'énormes investissements. Contrairement à SSI, OpenAI a été lancée en 2015 comme une entité à but non lucratif, mais l'entreprise s'est restructurée en 2019 pour créer une filiale à but lucratif lorsqu'elle a compris qu'elle avait besoin d'énormes sommes d'argent pour investir dans la puissance de calcul. Cette initiative a créé des désaccords internes, poussant Sutskever à soutenir l'éviction d'Altman du poste de PDG d'OpenAI. Atman était accusé de donner la priorité au profit au détriment de la sécurité.
Superintelligence is within reach.
— SSI Inc. (@ssi) June 19, 2024
Building safe superintelligence (SSI) is the most important technical problem of our time.
We've started the world’s first straight-shot SSI lab, with one goal and one product: a safe superintelligence.
It’s called Safe Superintelligence…
Sutskever a regretté son action et a contribué au retour d'Altman. Mais à partir de ce moment-là, Sutskever s'est fait discret et a laissé planer l'incertitude sur son avenir au sein d'OpenAI. Puis, à la mi-mai, Sutskever a annoncé son départ d'OpenAI, affirmant que "le lancement de produits brillants" a pris le pas sur les processus de sécurité. Gretchen Krueger, ancienne chercheuse en politique chez OpenAI, a également mentionné des problèmes de sécurité lors de l'annonce de son départ. En annonçant son départ, Sutskever avait également déclaré qu'il dévoilerait son prochain projet "en temps voulu". C'est désormais chose faite.
Alors qu'OpenAI a conclu des partenariats avec Apple et Microsoft, il est peu probable que SSI fasse de même dans un avenir proche. Sutskever a déclaré que le premier produit de SSI serait une IA sûre et que "l'entreprise ne ferait rien d'autre" d'ici là. « Cette entreprise est spéciale en ce sens que son premier produit sera la superintelligence sûre, et qu'elle ne fera rien d'autre jusqu'à ce moment-là. Elle sera totalement isolée des pressions extérieures liées à la gestion d'un produit vaste et complexe et à la course à la concurrence », a-t-il déclaré. Mais selon certains critiques, la sécurité de l'IA est une notion subjective.
Envoyé par Critique
La notion de sécurité repose sur un ensemble de jugements de valeur arbitraires, selon lesquels certaines choses sont acceptables et d'autres non. Qui décide de ce qu'elles sont ? Ces décisions peuvent favoriser certaines personnes par rapport à d'autres. Les personnes moins favorisées accepteront-elles que leurs intérêts soient subordonnés à ceux des autres ?
La SSI pourrait arriver avec à un ensemble de règles. Et étant donné qu'elle est plus intelligente que ses créateurs, elle pourrait être en mesure de trouver un moyen de contourner les restrictions et ses garde-fous initiaux. Les créateurs la considéreront-ils toujours comme sûre ? Cela dépendra probablement du fait qu'ils sont personnellement moins favorisés qu'auparavant.
En bref : si nous construisons une superintelligence, je ne pense pas que nous puissions être assurés qu'il sera sûr à long terme.
Selon certains analystes, cela fait ressembler ce lancement à un exercice connu sous le nom : ubiquité d'abord, revenus ensuite (Ubiquity first, Revenue Later - URL). Il s'agit d'un modèle de revenus rendu célèbre par Eric Schmidt, PDG de Google de 2001 à 2011.
Source : Safe Superintelligence Inc.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la nouvelle entreprise d'IA de Ilya Sutskever et de sa mission ? Que vous inspire la question de la sécurité de l'IA ? L'industrie peut-elle créer une superintelligence sûre ? Selon vous, quels sont les principaux critères pouvant permettre d'affirmer qu'une IA est sûre ? Qui décidera de ces critères ? La mission de la nouvelle startup d'Ilya Sutskever est-elle un vœu pieux pour attirer les investisseurs et bénéficier de la sympathie du public ?Voir aussi
Tous les employés d'OpenAI qui quittent le navire sont-ils de simples alarmistes, ou le signe d'une profonde crise de confiance sur la nouvelle direction que Sam Altman impose à OpenAI ? Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT et déclare : "je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique." Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness 
!