OpenAI a récemment annoncé le lancement d'un important programme de subventions de 10 millions de dollars, connu sous le nom de Superalignment Fast Grants. Cette initiative ambitieuse est conçue pour soutenir et stimuler la recherche technique axée sur l'alignement et la sécurité des systèmes d'IA surhumaine. Cette initiative importante d'OpenAI souligne les préoccupations et l'intérêt croissants pour le développement et le contrôle des systèmes d'IA surhumaine, ainsi que leurs risques et avantages potentiels."10 millions de dollars de subventions pour soutenir la recherche technique sur l'alignement de l'AGI. Nous aurons besoin de nouvelles percées pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous. Il s'agit de l'un des problèmes techniques non résolus les plus importants de notre époque. Mais nous pensons qu'il s'agit d'un problème d'apprentissage automatique qui peut être résolu. Les nouveaux chercheurs peuvent apporter d'énormes contributions !" explique OpenAI. Les candidatures doivent être enregistrées avant le 18 février 2024.
Les systèmes d'IA surhumaine, comme leur nom l'indique, sont des IA qui surpassent l'intelligence humaine dans la plupart des tâches à valeur économique. OpenAI estime que l'avènement de la superintelligence pourrait être imminent, potentiellement au cours de la prochaine décennie. Bien que cette évolution puisse apporter d'énormes avantages, depuis les percées dans le domaine des soins de santé jusqu'à la résolution de problèmes mondiaux complexes, elle comporte également des risques importants. Le défi consiste à s'assurer que ces systèmes d'IA surhumaine, et peut-être les robots humanoïdes récemment dévoilés, sont alignés sur les valeurs et les intérêts humains et qu'ils peuvent être contrôlés par les humains et bénéficier de leur confiance, une question qui a été au centre des préoccupations de la communauté de l'IA.
Des systèmes d'IA surhumaine
Les techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir du retour d'information humain (RLHF), ont joué un rôle déterminant dans la formation des systèmes d'IA. Toutefois, ces méthodes pourraient ne pas être suffisantes pour les futurs systèmes d'IA surhumaine. Ces systèmes d'IA avancés sont susceptibles de présenter des comportements complexes et créatifs que le RLHF pourrait ne pas être en mesure d'exploiter ou de contrôler pleinement. Au fur et à mesure que les systèmes d'IA deviennent plus intelligents et autonomes, la tâche consistant à les aligner sur les valeurs humaines et à garantir leur sécurité devient de plus en plus ardue.
Reconnaissant l'inadéquation des techniques d'alignement actuelles et le besoin pressant de méthodes avancées, OpenAI lance le projet Superalignment. Ce projet vise à rassembler les meilleurs chercheurs et ingénieurs pour relever le défi de l'alignement et de la sécurité de l'IA surhumaine. L'organisation estime qu'il s'agit d'un problème qui peut être résolu et voit de nombreuses approches et opportunités prometteuses pour la communauté de recherche sur l'apprentissage automatique afin de réaliser des progrès significatifs.
Subventions rapides pour le Superalignement
Pour soutenir davantage les efforts du projet Superalignment, OpenAI introduit le programme Superalignment Fast Grants de 10 millions de dollars en partenariat avec Eric Schmidt, l'ancien PDG de Google. Les subventions, allant de 100 000 à 2 millions de dollars, seront disponibles pour les laboratoires universitaires, les organisations à but non lucratif et les chercheurs individuels. En outre, une bourse OpenAI Superalignment d'une durée d'un an et d'un montant de 150 000 dollars sera proposée aux étudiants de troisième cycle, avec une allocation de 75 000 dollars et 75 000 dollars en calcul et en financement de la recherche.
Le programme de subventions rapides pour le Superalignement et la bourse sont conçus pour attirer de nouvelles personnes dans le domaine et encourager un plus large éventail de perspectives et d'idées. Il est important de noter qu'aucune expérience préalable en matière d'alignement n'est requise pour postuler à ces subventions, ce qui ouvre la voie à des approches nouvelles et innovantes. Le processus de candidature est simple, avec un délai de réponse de quatre semaines après la clôture des candidatures, ce qui garantit un retour d'information rapide pour les candidats.
Le lancement par l'OpenAI de cet important programme de subventions représente une avancée significative dans le domaine de l'IA. Il souligne l'urgence et l'importance d'aligner les systèmes d'IA surhumaine sur les valeurs humaines et de garantir leur sécurité. Avec le projet Superalignment et le programme Fast Grants, OpenAI ne se contente pas de relever ce défi, mais encourage également une communauté de recherche inclusive et diversifiée qui peut contribuer à cette tâche complexe et cruciale. Cette initiative témoigne de l'engagement d'OpenAI à faire en sorte que l'IA profite à l'ensemble de l'humanité.
L'annonce d'OpenAI concernant le lancement du programme de subventions "Superalignment Fast Grants" est présentée ci-après :
Nous pensons que la superintelligence pourrait voir le jour dans les dix prochaines années. Ces systèmes d'IA auraient de vastes capacités - ils pourraient être extrêmement bénéfiques, mais aussi potentiellement présenter des risques importants.
Aujourd'hui, nous alignons les systèmes d'IA pour nous assurer qu'ils sont sûrs en utilisant l'apprentissage par renforcement à partir du retour d'information humain (RLHF). Cependant, l'alignement des futurs systèmes d'IA surhumaine posera des défis techniques fondamentalement nouveaux et qualitativement différents.
Les systèmes d'IA surhumaine seront capables de comportements complexes et créatifs que les humains ne peuvent pas entièrement comprendre. Par exemple, si un modèle surhumain génère un million de lignes de code extrêmement compliqué, les humains ne seront pas en mesure d'évaluer de manière fiable si l'exécution du code est sûre ou dangereuse. Les techniques d'alignement existantes, telles que la RLHF, qui reposent sur la supervision humaine, pourraient ne plus être suffisantes. Cela nous amène à un défi fondamental : comment les humains peuvent-ils diriger des systèmes d'IA beaucoup plus intelligents qu'eux et leur faire confiance ?
Il s'agit de l'un des problèmes techniques non résolus les plus importants au monde. Mais nous pensons qu'il est possible de le résoudre grâce à un effort concerté. Il existe de nombreuses approches prometteuses et des directions intéressantes, avec beaucoup de fruits à portée de main. Nous pensons qu'il existe une énorme opportunité pour la communauté de recherche en ML et les chercheurs individuels de faire des progrès majeurs sur ce problème aujourd'hui.
Dans le cadre de notre projet Superalignment, nous souhaitons rassembler les meilleurs chercheurs et ingénieurs du monde pour relever ce défi - et nous sommes particulièrement enthousiastes à l'idée de faire entrer de nouvelles personnes dans le domaine.
Subventions rapides pour le projet Superalignement
En partenariat avec Eric Schmidt, nous lançons un programme de subventions de 10 millions de dollars pour soutenir la recherche technique visant à garantir l'alignement et la sécurité des systèmes d'IA surhumaine :
Postulez avant le 18 février
Avec ces subventions, nous sommes particulièrement intéressés par le financement des directions de recherche suivantes :
Pour en savoir plus sur les orientations de la recherche, les FAQ et d'autres détails, consultez notre page sur les subventions rapides pour le superalignement.
Rejoignez-nous dans ce défi
Nous pensons que de nouveaux chercheurs pourraient apporter d'énormes contributions ! Il s'agit d'un domaine jeune avec de nombreux problèmes de recherche réalisables ; des contributions exceptionnelles pourraient non seulement aider à façonner le domaine, mais aussi être cruciales pour l'avenir de l'IA. Il n'y a jamais eu de meilleur moment pour commencer à travailler sur l'alignement.
Aujourd'hui, nous alignons les systèmes d'IA pour nous assurer qu'ils sont sûrs en utilisant l'apprentissage par renforcement à partir du retour d'information humain (RLHF). Cependant, l'alignement des futurs systèmes d'IA surhumaine posera des défis techniques fondamentalement nouveaux et qualitativement différents.
Les systèmes d'IA surhumaine seront capables de comportements complexes et créatifs que les humains ne peuvent pas entièrement comprendre. Par exemple, si un modèle surhumain génère un million de lignes de code extrêmement compliqué, les humains ne seront pas en mesure d'évaluer de manière fiable si l'exécution du code est sûre ou dangereuse. Les techniques d'alignement existantes, telles que la RLHF, qui reposent sur la supervision humaine, pourraient ne plus être suffisantes. Cela nous amène à un défi fondamental : comment les humains peuvent-ils diriger des systèmes d'IA beaucoup plus intelligents qu'eux et leur faire confiance ?
Il s'agit de l'un des problèmes techniques non résolus les plus importants au monde. Mais nous pensons qu'il est possible de le résoudre grâce à un effort concerté. Il existe de nombreuses approches prometteuses et des directions intéressantes, avec beaucoup de fruits à portée de main. Nous pensons qu'il existe une énorme opportunité pour la communauté de recherche en ML et les chercheurs individuels de faire des progrès majeurs sur ce problème aujourd'hui.
Dans le cadre de notre projet Superalignment, nous souhaitons rassembler les meilleurs chercheurs et ingénieurs du monde pour relever ce défi - et nous sommes particulièrement enthousiastes à l'idée de faire entrer de nouvelles personnes dans le domaine.
Subventions rapides pour le projet Superalignement
En partenariat avec Eric Schmidt, nous lançons un programme de subventions de 10 millions de dollars pour soutenir la recherche technique visant à garantir l'alignement et la sécurité des systèmes d'IA surhumaine :
- Nous proposons des subventions de 100 000 à 2 millions de dollars pour les laboratoires universitaires, les organisations à but non lucratif et les chercheurs individuels.
- Pour les étudiants diplômés, nous sponsorisons une bourse OpenAI Superalignment d'une durée d'un an et d'un montant de 150 000 dollars : 75 000 dollars d'allocation et 75 000 dollars de calcul et de financement de la recherche.
- Aucune expérience préalable en matière d'alignement n'est requise ; nous cherchons activement à soutenir les chercheurs qui sont enthousiastes à l'idée de travailler sur l'alignement pour la première fois.
- Notre processus de candidature est simple et nous vous contacterons dans les quatre semaines suivant la clôture des candidatures.
Postulez avant le 18 février
Avec ces subventions, nous sommes particulièrement intéressés par le financement des directions de recherche suivantes :
- Généralisation faible à forte : Les humains seront des superviseurs faibles par rapport aux modèles surhumains. Pouvons-nous comprendre et contrôler la manière dont les modèles forts généralisent à partir d'une supervision faible ?
- Interprétabilité : Comment pouvons-nous comprendre les éléments internes des modèles ? Et pouvons-nous l'utiliser, par exemple, pour construire un détecteur de mensonges pour l'IA ?
- Supervision évolutive : comment pouvons-nous utiliser des systèmes d'IA pour aider les humains à évaluer les résultats d'autres systèmes d'IA dans des tâches complexes ?
De nombreuses autres directions de recherche, y compris, mais sans s'y limiter, l'honnêteté, la fidélité de la chaîne de pensée, la robustesse des adversaires, les évaluations et les bancs d'essai, et bien plus encore.
Pour en savoir plus sur les orientations de la recherche, les FAQ et d'autres détails, consultez notre page sur les subventions rapides pour le superalignement.
Rejoignez-nous dans ce défi
Nous pensons que de nouveaux chercheurs pourraient apporter d'énormes contributions ! Il s'agit d'un domaine jeune avec de nombreux problèmes de recherche réalisables ; des contributions exceptionnelles pourraient non seulement aider à façonner le domaine, mais aussi être cruciales pour l'avenir de l'IA. Il n'y a jamais eu de meilleur moment pour commencer à travailler sur l'alignement.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de cette initiative d'OpenAI ? Trouvez-vous qu'il s'agit d'une démarche pertinente et cohérente ? Partagez-vous les préoccupations d'OpenAI concernant la menace potentielle soulevée par les systèmes de superintelligence artificielle ?Voir aussi
Shane Legg, cofondateur de Google DeepMind, est convaincu depuis 2009 qu'il y a 50 % de chances de parvenir à l'intelligence artificielle générale d'ici à 2028 et maintient cette conviction à date L'atteinte d'une forme d'IA de niveau humain est-elle plus rapide que prévu ? Il y aurait une chance sur deux pour qu'une « AGI » soit conçue, testée et annoncée publiquement d'ici 2040 Le président de Microsoft a déclaré qu'il n'y avait aucune chance que l'IA superintelligente AGI apparaisse bientôt, et que la technologie pourrait ne pas voir le jour avant plusieurs décennies 
Envoyé par Jade Emy
)