IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des chercheurs chinois auraient construit un modèle d'IA de 100 000 milliards de paramètres, soit autant de paramètres que le cerveau humain,
Il serait 571 fois plus puissant que GPT-3

Le , par Bill Fassinou

520PARTAGES

8  0 
Les modèles de traitement du langage naturel (natural language processing - NLP) ont considérablement évolué au cours des dernières années, principalement en raison de la forte rivalité entre les États-Unis et la Chine. Alors que GPT-3 d'OpenAI était largement considéré comme le meilleur modèle en matière de génération du langage naturel, les chercheurs chinois ont déclaré en juin dernier avoir construit un modèle d'IA avec 100 000 milliards de paramètres, ce qui le rend 571 fois plus puissant que GPT-3. Il s'agit d'un modèle multimodal formé pour traiter à la fois le texte et l'image. Il pourrait traiter l'audio et la vidéo à l'avenir.

Les chercheurs chinois disent avoir construit le plus grand modèle NLP

Jusqu'en mai 2021, GPT-3 d'OpenAI, un laboratoire indépendant américain de recherche sur l'IA cofondé par Elon Musk, était le modèle NLP le plus puissant au monde. GPT-3 est la troisième génération du gigantesque modèle de langage "Generative Pre-trained Transformer" d'OpenAI, qui peut tout écrire, du code informatique à la poésie. Mais, en juin, l'Académie d'intelligence artificielle de l'université Tsinghua de Pékin a publié un modèle encore plus grand, Wu Dao 2.0, avec dix fois plus de paramètres - les valeurs du réseau neuronal qui codent l'information - que GPT-3.



Alors que GPT-3 compte 175 milliards de paramètres, les créateurs du modèle Wu Dao 2.0 affirment qu'il en compte 1,75 mille milliards. Les chiffres ne racontent pas une histoire complète, mais juste pour le plaisir : Wu Dao 2.0 est 10 fois plus puissant que GPT-3. Contrairement aux modèles d'apprentissage profond conventionnels qui sont généralement spécifiques à une tâche, Wu Dao 2.0 est un modèle multimodal formé pour traiter à la fois le texte et l'image, deux ensembles de problèmes radicalement différents. Comme GPT-3, Wu Dao 2.0 serait capable d'écrire des poèmes et des couplets dans le style traditionnel chinois, de répondre à des questions, de rédiger des essais, etc.

En outre, le modèle serait également capable de générer du texte alternatif pour des images et de générer des images à partir de descriptions textuelles, comme le modèle DALL-E d'OpenAI, qui compte environ 12 milliards de paramètres. Selon les créateurs de Wu Dao 2.0, le modèle a une stratégie de mise à l'échelle similaire à celle du modèle Switch Transformer de Google. Il serait même capable d'alimenter des "idoles virtuelles", avec l'aide de XiaoIce, un système d'IA développé par Microsoft Asia, de sorte qu'il peut également y avoir un support vocal, en plus du texte et de l'image.

Par ailleurs, Tang Jie, professeur à l'université Tsinghua et chef du projet Wu Dao, a déclaré lors d'une interview en juin dernier, que le groupe a construit un modèle encore plus grand, de 100 000 milliards de paramètres, bien qu'il ne l'ait pas entraîné jusqu'à la "convergence", le point auquel le modèle cesse de s'améliorer. « Nous voulions simplement prouver que nous étions capables de le faire », a déclaré Tang. Notons que GPT-3 et Wu Dao 2.0 sont des modèles d'IA multimodaux.

En effet, l'IA multimodale est un nouveau paradigme de l'IA, dans lequel différents types de données (texte, image, parole, etc.) sont combinés à de multiples algorithmes de traitement pour obtenir de meilleures performances. Selon les chercheurs, l'IA multimodale surpasse souvent l'IA monomodale dans de nombreux problèmes du monde réel. Le modèle multimodal est actuellement un mot à la mode au sein de la communauté de l'apprentissage profond.

Le MUM (Multi-task Unified Model) de Google, dévoilé en mai 2021 lors de la conférence annuelle des développeurs du géant de Mountain View, capable de répondre à des questions complexes et de distiller des informations à partir de textes et d'images, est un exemple récent de modèles multimodaux. Selon la plupart des mesures, Wu Dao 2.0 a surpassé GPT-3. Tang indique qu'il a été entraîné sur 4,9 téraoctets de données propres, y compris du texte en chinois, du texte en anglais et des images. OpenAI a déclaré que GPT-3 avait été entraîné sur seulement 570 gigaoctets de texte propre, principalement en anglais.

Tang indique que son groupe travaille maintenant sur la vidéo dans le but de générer des vidéos réalistes à partir de descriptions textuelles. « Avec un peu de chance, nous pourrons faire en sorte que ce modèle aille au-delà du test de Turing », dit-il, en faisant référence à l'évaluation de la capacité d'un ordinateur à générer un texte indiscernable de celui créé par un humain. « C'est notre objectif final », a-t-il ajouté.

La Chine est-elle devenue incontournable dans la recherche sur l'IA ?

Selon des experts, les États-Unis dominaient le secteur de la recherche sur l'IA, mais se sont progressivement fait rattraper par la Chine. « La Chine est un concurrent que les États-Unis ont encouragé. Une poignée d'entreprises technologiques américaines ont transféré leur savoir-faire et formé certains des meilleurs experts en IA de Chine », a déclaré Craig Smith, un ancien correspondant du New York Times et l'hôte du podcast "Eye on AI", dans un éditorial fin décembre 2021. Smith a commencé par rejeter la faute sur Bill Gates, fondateur de Microsoft. En 1992, Gates a conduit Microsoft sur le marché naissant des logiciels en Chine.



Six ans plus tard, il a créé Microsoft Research Asia, le plus grand institut de recherche informatique fondamentale et appliquée de la société en dehors des États-Unis. Des membres de cette organisation ont ensuite fondé ou dirigé de nombreuses institutions technologiques de premier plan en Chine. Toujours selon Smith, en 2021, un ancien de Microsoft Research Asia a fondé ByteDance, qui est aujourd'hui l'une des entreprises d'IA les plus prospères au monde. ByteDance a publié en 2016 TikTok, une plateforme mobile de partage de vidéo et de réseautage social qui est devenue l'application la plus téléchargée au monde.

Ensuite, Smith a ajouté que ByteDance a engagé Zhang Hongjiang, un ancien responsable de Microsoft Research Asia, pour diriger le centre de recherche en stratégie technique de ByteDance. Ce Zhang est maintenant à la tête de l'Académie de Pékin, l'organisation à l'origine de Wu Dao 2.0, actuellement le plus grand système d'IA de la planète. Ce va-et-vient inquiète les stratèges américains en matière de sécurité nationale, qui prévoient qu'un jour les chercheurs et les sociétés multinationales seront obligés de prendre parti. Le bras de fer entre Huawei et le gouvernement américain depuis 2019 témoigne de cette inquiétude.

Huawei, le plus grand fabricant d'équipements de télécommunications au monde, a été gêné par les restrictions commerciales imposées par l'administration Trump sur la vente de puces et d'autres composants utilisés dans ses activités liées aux équipements de réseau et aux smartphones. L'entreprise est inscrite sur une longue liste d'entreprises chinoises considérées comme une menace pour la sécurité nationale des États-Unis. À travers un décret en mai 2019, l'ex-président Donald Trump, a gelé les relations commerciales entre Huawei et les entreprises américaines. Cela a eu un impact considérable sur la production de smartphones de Huawei.

Le décret a interdit aux entreprises américaines de vendre Huawei des biens et des technologies sans une licence spéciale du gouvernement. Et dès son installation, la nouvelle administration Biden a renforcé la ligne dure sur les exportations vers Huawei, refusant les licences de vente de puces à Huawei pour une utilisation dans ou avec des appareils 5G. Selon les rapports financiers, Huawei a enregistré la plus forte baisse de revenus de son histoire au premier semestre 2021. La société a fait état d'une baisse de 16,5 % de son chiffre d'affaires trimestriel, par rapport à l'année précédente, en raison de la chute des revenus tirés des smartphones.

La rivalité entre les États-Unis et la Chine stimule-t-elle l'IA militarisée ?

Selon Smith, que les chercheurs chinois et américains le veuillent ou non, leurs gouvernements respectifs sont impatients d'intégrer chaque avancée de l'IA dans leur infrastructure de sécurité nationale et leurs capacités militaires. « C'est important, car la domination de la technologie signifie une victoire probable dans toute guerre future. Plus important encore, un tel avantage garantit probablement la longévité et l'influence mondiale du gouvernement qui le détient. La Chine exporte déjà sa technologie de surveillance basée sur l'IA - qui peut être utilisée pour réprimer la dissidence - vers ses États clients », a-t-il déclaré.



Ainsi, il estime que le premier effort majeur des États-Unis en matière d'IA pour une guerre intelligente a consisté à utiliser la vision par ordinateur pour analyser des milliers d'heures de vidéos téléchargées à partir de dizaines de drones en mouvement. Aujourd'hui, cet effort, baptisé Projet Maven, permettrait de détecter, de classer et de suivre des objets dans des images vidéo. La Chine aurait suivi le rythme. Selon le Center for Security and Emerging Technology (CSET) de l'université de Georgetown, la Chine poursuit activement des recherches sur la reconnaissance des cibles et le tir automatique basés sur l'IA.

Ces innovations pourraient être utilisées dans des armes autonomes mortelles. Parallèlement, elle pourrait devancer les États-Unis dans le domaine de la technologie des essaims de drones. Le CSET de Georgetown rapporte que la Chine développe des charges utiles d'armes électromagnétiques qui peuvent être attachées à des essaims de petits véhicules aériens sans pilote et volées dans l'espace aérien ennemi pour "perturber ou bloquer le commandement et la prise de décision de l'ennemi". Ce type de recherche et de test a suscité des appels à l'interdiction préventive des armes autonomes létales.

« Je m'inquiète de l'importance qu'ils accordent aux essaims de systèmes sans pilote », déclare Robert O. Work, ancien secrétaire adjoint à la Défense des États-Unis, ajoutant que les Chinois veulent former des essaims d'une centaine de véhicules ou plus, y compris des systèmes sous-marins, pour coordonner la navigation dans des environnements complexes. « Si nous testons également des essaims, nous n'avons pas encore démontré notre capacité à employer ce type d'essaims dans un scénario de combat », a-t-il ajouté. Smith pense qu'en l'absence d'une interdiction, les pays devraient commencer à négocier un accord de contrôle des armements.

Cet accord interdirait le développement de systèmes qui pourraient ordonner de manière autonome une attaque préventive ou de représailles. En effet, de tels systèmes pourraient conduire par inadvertance à des "guerres éclair", tout comme les opérations financières autonomes pilotées par l'IA ont conduit à des crashs éclair sur les marchés financiers. « Aucun d'entre nous ne veut entrer en guerre parce qu'un système de contrôle autonome a fait une erreur et a ordonné une attaque préventive », a déclaré Work, en faisant référence aux États-Unis et à la Chine.

Sources : Présentation de Wu Dao 2.0, Craig Smith

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du nouveau modèle d'IA Wu Dao 2.0 de la Chine ?
Que pensez-vous de l'argument selon lequel les États-Unis ont stimulé les progrès technologiques de la Chine ?
Selon vous, comment le monde pourrait-il faire face à la prolifération des armes autonomes létales ? Peut-on parvenir à une interdiction ?

Voir aussi

Voici six raisons pour lesquelles Huawei donne aux États-Unis et à ses alliés des cauchemars, en matière de sécurité informatique

La Chine dépasse les États-Unis dans la recherche sur l'IA, la lutte pour la suprématie s'intensifie alors que les deux parties sont aux prises avec des problèmes de sécurité

La Chine a lancé le premier satellite 6G au monde, alors que nous ne savons même pas encore ce qu'est la technologie 6G

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de nadjim
Membre régulier https://www.developpez.com
Le 03/01/2022 à 22:05
Citation Envoyé par Aiekick Voir le message
je suis plutôt contre la Chine habituellement mais là je dis bravo.

mais bon avoir plein de paramètres est une chose, en faire quelque chose d'utile en est une autre, encore plus de le faire trouver assez rapidement.
Oui ce n'est pas faux, la preuve, c'est que chaque humain possède globalement autant de paramètres, et qu'au final on voit ce que cela donne avec une grande disparité pour chacun d'entre eux.
12  0 
Avatar de bergi
Membre confirmé https://www.developpez.com
Le 04/01/2022 à 22:39
Citation Envoyé par KiLVaiDeN Voir le message
Ce n'est que de l'illusion, alors autant ne pas perdre de temps à croire qu'une machine puisse devenir "humaine" (ou plutôt, un être mental) et plutôt se consacrer aux capacités avancées d'assistance à l'humain dans tous les domaines.
Des études tendent à démontrer que notre intelligence dans le sens d'avoir notre libre arbitre serait aussi une illusion. Nous aussi ne faisons que répondre a des stimulus extérieurs dont nous serions en fait spectateur.
Il y a 40 ans on disait encore que seul l'homme avait une conscience, depuis on s'est bien rendu compte qu'il y a toute une multitude de niveau de conscience dans le règne animal.

Donc aller dire qu'il serait impossible pour une machine d'avoir conscience d'elle même est bien présomptueux.
Et pour finir c'est bien dans le but que ces IA fassent des choses utiles que des pays/entreprise dépensent des millions.
8  0 
Avatar de 23JFK
Membre expert https://www.developpez.com
Le 04/01/2022 à 23:53
Citation Envoyé par KiLVaiDeN Voir le message
...
C'est le problème des croyants de vouloir à tout prix encarter les non-croyants dans leur système. Il y a des faits objectifs dont celui de la différentiation au sens mathématique. Avec une quantité modérée d'état 1 et d'état 0 vous pouvez déjà calculer tout ce qui est calculable. Au sens mathématique toujours, un verre remplit d'eau est un ordinateur quantique dans un état global indéterminé et il n'appartient qu'à un opérateur de se donner les moyens de contrôler les états du contenu du verre pour résoudre tous les problèmes qui lui vient en tête de résoudre ce que l'on cherche à faire avec les actuels ordinateurs quantiques. Un créateur ne sert à rien, du hasard et un temps infini sont amplement suffisant, et il s'avère que "l'univers" regorge abondamment de ces deux ingrédients.
8  1 
Avatar de abriotde
Membre chevronné https://www.developpez.com
Le 05/01/2022 à 14:23
Un humain comprend grâce à sa faculté mentale, chose que n'a pas la machine
Oui enfin, on peut dire ceci a chaque fois, il en ressort qu'au final la machine finit toujours par surpasser l'humain (rapidité pour coudre/tisser, vitesse(voiture), calculs (ordinateurs), capacité à lire, ... )

En fait on ne sait pas ce que l'IA comprends, ce qui est sûr c'est que pour arriver au résultat ou elle arrive elle "comprends" certaine chose.

Mais on peut retourner l'affirmation, est-ce qu'un humain comprends l'équilibre et les forces en jeu quand il marche? Ou est-ce qu'il tatonne? De même est-ce qu'il comprends le sens profond des mathématique quand il fait des résolutions de problèmes ou est-ce qu'il essaye d'appliquer les règles logiques? Est-ce qu'un humain comprends les règles économique quand il commerce? La réponse est bien sûr à un certain degré mais très limité au final... comme l'IA.

Le jour ou l'IA battra les humains dans tous les domaine n'est pas pour demain mais croire que cela n'arrivera pas s'est se fourvoyer. Ce qui est certains c'est que si une IA ne sera pas demain au dessus de tous, elle sera capable d'être meilleur qu'un expert. Son plus gros handicap, c'est sa base de connaissance assez limité qui ne lui permet pas d’interagir. C'est parfois en mangeant un sandwich que l'on résout de grand problèmes...
7  2 
Avatar de 23JFK
Membre expert https://www.developpez.com
Le 04/01/2022 à 6:03
En fin de compte, Skynet sera Chinois.
3  0 
Avatar de KiLVaiDeN
Membre expert https://www.developpez.com
Le 04/01/2022 à 18:16
"Simulated" Intelligence serait un meilleur terme. L'intelligence c'est de comprendre les choses, une IA ne comprend rien, elle prend des entrées et produits des sorties adaptées. Alors certes, les réponses peuvent paraitre aussi intelligentes que possibles, ce n'est au final qu'un "super moteur de recherche". Un humain comprend grâce à sa faculté mentale, chose que n'a pas la machine.

Je trouve ça assez fascinant cette époque où on peut encore penser qu'une IA puisse être consciente d'elle-même, ou bien qu'elle puisse éprouver des émotions, etc. La machine pourra répondre "je t'aime" et ne rien savoir de l'amour, de ce que ça veut dire, ni de ce qu'on ressent quand on l'exprime. Ce n'est que de l'illusion, alors autant ne pas perdre de temps à croire qu'une machine puisse devenir "humaine" (ou plutôt, un être mental) et plutôt se consacrer aux capacités avancées d'assistance à l'humain dans tous les domaines.
5  2 
Avatar de KiLVaiDeN
Membre expert https://www.developpez.com
Le 04/01/2022 à 20:46
Citation Envoyé par 23JFK Voir le message
Votre affirmation ne semble tenir que sur la supposition non dite que l'Homme aurait une âme (avec tous les délires mystiques qui vont avec). Une telle idée est sans doute réconfortante face à la mort, au désir de se croire d'une condition différente de ce que propose la nature, mais plus la science avance, plus ces hypothèses de chamanes défoncés aux champignons, deviennent indéfendables.
Je constate, à la différence de vous, que la science est loin d'avoir rendu "indéfendable" l'idée qu'il y a un aspect immatériel à la conscience, aux idées; bref aux informations et à "ce qui la reçoit". Personnellement, je pense que l'information ne doit pas se confondre avec son support. Si vous avez des sources à mentionner qui viendraient absolument relayer cette théorie comme indéfendable, je vous invite à le faire, dans le respect de chacun et de ses idées, qu'elles soient contraires aux votres ou pas.
4  1 
Avatar de thamn
Membre actif https://www.developpez.com
Le 06/01/2022 à 21:46
Citation Envoyé par KiLVaiDeN Voir le message
"Simulated" Intelligence serait un meilleur terme. L'intelligence c'est de comprendre les choses, une IA ne comprend rien, elle prend des entrées et produits des sorties adaptées. Alors certes, les réponses peuvent paraitre aussi intelligentes que possibles, ce n'est au final qu'un "super moteur de recherche". Un humain comprend grâce à sa faculté mentale, chose que n'a pas la machine.

Je trouve ça assez fascinant cette époque où on peut encore penser qu'une IA puisse être consciente d'elle-même, ou bien qu'elle puisse éprouver des émotions, etc. La machine pourra répondre "je t'aime" et ne rien savoir de l'amour, de ce que ça veut dire, ni de ce qu'on ressent quand on l'exprime. Ce n'est que de l'illusion, alors autant ne pas perdre de temps à croire qu'une machine puisse devenir "humaine" (ou plutôt, un être mental) et plutôt se consacrer aux capacités avancées d'assistance à l'humain dans tous les domaines.
C'est bien présomptueux de se dire capable de décrire ce qu'est l'intelligence. J'irai plus loin en disant: a partir de quand l'illusion d'intelligence n'est plus une illusion. Qui te dis que les cerveaux humain ne font pas que paraître "intelligent". Qui plus est ils paraissent intelligents seulement a ceux qui les possèdent - du moins jusqu’à preuve du contraire, il semblerait que seul les humains soient capable de discerner ces signes de ce qu'on appelle l'intelligence.
On a deja observe que la prise de conscience de certaines decisions ne sont en réalité perçu par la personne que bien apres le moment de la prise de decision reelle, et qu'au final on aurait l'impression de faire un choix alors que notre cerveaux a deja pris la decision, alors comment peut tu être sur que ta conscience n'est pas simplement une illusion nécessaire a ton fonctionnement..
4  1 
Avatar de Aiekick
Membre extrêmement actif https://www.developpez.com
Le 03/01/2022 à 19:17
je suis plutot contre la chine habituellement mais la je dit bravo.

mais bon avoir plein de parametres est une chose, en fait quelque chose d'utile en est une autre, encore plus de le faire trouner assez rapidemment.
2  0 
Avatar de BufferBob
Expert éminent https://www.developpez.com
Le 05/01/2022 à 9:22
Citation Envoyé par KiLVaiDeN Voir le message
Si ça ce n'est pas une définition immatérielle de la conscience!
non ça veut juste dire que le libre arbitre est potentiellement une illusion, sous-entendu parce que dans la nature ce qu'on observe et qui permet d'expliquer tous les phénomènes macroscopiques (je ne parle pas du niveau quantique) c'est un déterminisme dur.

les stimulus c'est la lumière qui arrive dans ton oeil, les sensations sur ta peau etc. et tout ça s'explique parfaitement dans un cadre purement matérialiste.

quant à la conscience, non seulement le dualisme a déjà pas mal été relégué au placard, mais pour ceux qui y reviennent aujourd'hui on distingue désormais ce qui relève de la conscience d'accès, et qui est semble-t-il tout à fait réalisable par une machine, de la conscience phénoménale, dernier bastion des pro-âme, dont un certain nombre de philosophe envisagent malgré tout qu'elle puisse n'être qu'une illusion, et dont la science qui continue de progresser finira bien par trancher le débat d'une façon ou d'une autre : on crée des trucs, et si à l'arrivée ça se comporte à tout point de vue comme la conscience humaine, alors c'est qu'on aura réussi à créer une vraie conscience de manière artificielle.
3  1