IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites
La mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui

Le , par Stéphane le calme

21PARTAGES

6  0 
OpenAI a réalisé une série d'avancées impressionnantes dans l'IA qui fonctionne avec le langage ces dernières années en prenant des algorithmes d'apprentissage automatique existants et en les faisant évoluer jusqu'à une taille inimaginable auparavant. GPT-4, le dernier de ces projets, a probablement été formé à l'aide de milliards de mots de texte et de plusieurs milliers de puces informatiques puissantes. Le processus a coûté plus de 100 millions de dollars.

Mais le PDG de la société, Sam Altman, affirme que de nouveaux progrès ne proviendront pas de l'agrandissement des modèles : « Je pense que nous sommes à la fin de l'ère où règneront ces modèles géants », a-t-il déclaré à un public lors d'un événement organisé au MIT à la fin de la semaine dernière. « Nous allons les rendre meilleurs par d'autres moyens ».

La déclaration d'Altman suggère une tournure inattendue dans la course au développement et au déploiement de nouveaux algorithmes d'IA. Depuis qu'OpenAI a lancé ChatGPT en novembre, Microsoft a utilisé la technologie sous-jacente pour ajouter un chatbot à son moteur de recherche Bing, et Google a lancé un chatbot rival appelé Bard. De nombreuses personnes se sont précipitées pour expérimenter l'utilisation de la nouvelle race de chatbot pour aider au travail ou à des tâches personnelles.

Pendant ce temps, de nombreuses startups bien financées, dont Anthropic, AI21, Cohere et Character.AI, consacrent d'énormes ressources à la construction d'algorithmes toujours plus grands dans le but de rattraper la technologie d'OpenAI. La version initiale de ChatGPT était basée sur une version légèrement améliorée de GPT-3, mais les utilisateurs peuvent désormais également accéder à une version alimentée par le GPT-4 plus performant.

La déclaration d'Altman suggère que GPT-4 pourrait être la dernière avancée majeure à émerger de la stratégie d'OpenAI consistant à agrandir les modèles et à leur fournir plus de données. Il n'a pas dit quel genre de stratégies ou de techniques de recherche pourraient prendre sa place. Dans l'article décrivant GPT-4, OpenAI indique que ses estimations suggèrent des rendements décroissants lors de l'augmentation de la taille du modèle. Altman a déclaré qu'il existe également des limites physiques au nombre de centres de données que l'entreprise peut construire et à la rapidité avec laquelle elle peut les construire.


Un argument qui « sonne vrai » pour le cofondateur de Cohere

Nick Frosst, cofondateur de Cohere qui travaillait auparavant sur l'IA chez Google, affirme que le sentiment d'Altman selon lequel « agrandir ne fonctionnera pas indéfiniment » sonne vrai. Lui aussi pense que les progrès sur les transformateurs, le type de modèle d'apprentissage automatique au cœur de GPT-4 et de ses rivaux, vont au-delà de l'évolutivité. « Il existe de nombreuses façons de rendre les transformateurs bien meilleurs et plus utiles, et beaucoup d'entre eux n'impliquent pas l'ajout de paramètres au modèle », dit-il. Frosst dit que de nouvelles conceptions ou architectures de modèles d'IA et un réglage supplémentaire basé sur la rétroaction humaine sont des directions prometteuses que de nombreux chercheurs explorent déjà.

Chaque version de la famille influente d'algorithmes de langage d'OpenAI consiste en un réseau de neurones artificiels, un logiciel vaguement inspiré de la façon dont les neurones fonctionnent ensemble, qui est formé pour prédire les mots qui doivent suivre une chaîne de texte donnée.

Voici l'historique des version GPT :
  • GPT-1 : OpenAI a publié GPT-1 en 2018. Ce modèle de langage génératif a été formé à l'aide de l'énorme ensemble de données BooksCorpus, ce qui lui a permis d'apprendre une vaste gamme de relations et d'acquérir des connaissances approfondies sur une grande variété de textes continus et de passages étendus. Ce modèle était une preuve de concept et n'a pas été rendu public.
  • GPT2 : plus tard en 2019, OpenAI a mis sur pieds GPT-2, créant un meilleur modèle de langage en utilisant un ensemble de données plus volumineux et davantage de paramètres. GPT-2 utilise également le décodeur du modèle de Transformer, comme GPT-1. La conception et la mise en œuvre du modèle dans GPT-2 représentent certains des changements les plus notables ; GPT-2 est 10 fois plus grand que GPT-1 (117 millions de paramètres) et contient 10 fois plus de paramètres et de données. C'était à la pointe de la technologie en 2019.
  • GPT3 : GPT3 était la version où de nombreuses personnes ont fait la rencontre des LLM. Il s'agit du grand modèle de prédiction et de génération de langage d'OpenAI. Cette version peut reproduire le texte original dans de grandes sections. Le logiciel de langage d'intelligence artificielle GPT-3 a changé la donne pour OpenAI. En termes simples, c'est un programme qui peut créer des paragraphes si frais et originaux qu'ils semblent presque écrits à la main. Avec l'aide de GPT3, ChatGPT a gagné 100 millions d'utilisateurs en seulement deux mois, ce qui en fait l'application en ligne à la croissance la plus rapide de l'histoire.
  • GPT4 : afin de rendre les modèles plus précis et de fournir moins de résultats désagréables ou nuisibles, GPT4 a été créé pour améliorer leur « alignement ». L'alignement fait référence à la capacité d'un modèle à suivre les objectifs de l'utilisateur.

Les capacités remarquables de GPT-4 ont stupéfié certains experts et suscité un débat sur le potentiel de l'IA pour transformer l'économie, mais aussi propager la désinformation et supprimer des emplois.

Aussi, dans une lettre ouverte publiée en mars, Elon Musk et un groupe d'experts en intelligence artificielle et de dirigeants de l'industrie ont demandé une pause de six mois dans le développement de systèmes plus puissants que le GPT-4 récemment lancé par OpenAI, en invoquant les risques potentiels pour la société et l'humanité.

La lettre, publiée par l'organisation à but non lucratif Future of Life Institute et signée par plus de 1 000 personnes, dont Musk, appelle à une pause dans le développement de l'IA avancée jusqu'à ce que des protocoles de sécurité partagés pour de telles conceptions soient élaborés, mis en œuvre et contrôlés par des experts indépendants. « Des systèmes d'IA puissants ne devraient être développés qu'une fois que nous sommes certains que leurs effets seront positifs et que leurs risques seront gérables », peut-on lire dans la lettre.

La lettre détaille les risques potentiels pour la société et la civilisation que représentent les systèmes d'IA compétitifs pour les humains, sous la forme de perturbations économiques et politiques, et appelle les développeurs à travailler avec les décideurs politiques sur la gouvernance et les autorités de régulation.

Parmi les cosignataires figurent Emad Mostaque, PDG de Stability AI, des chercheurs de DeepMind, propriété d'Alphabet (GOOGL.O), et des poids lourds de l'IA, Yoshua Bengio, souvent considéré comme l'un des "parrains de l'IA", et Stuart Russell, pionnier de la recherche dans ce domaine.


Ce qui pourrait expliquer pourquoi OpenAI ne « travaille pas actuellement sur GPT-5 » ?

S'exprimant lors du même événement au MIT, Altman a été interrogé sur cette lettre ouverte diffusée dans le monde de la technologie qui demandait que des laboratoires comme OpenAI suspendent le développement de systèmes d'IA « plus puissants que GPT-4 ». La lettre a mis en évidence des préoccupations concernant la sécurité des futurs systèmes, mais a été critiquée par de nombreux acteurs de l'industrie, y compris un certain nombre de signataires. Les experts ne sont pas d'accord sur la nature de la menace posée par l'IA (est-elle existentielle ou plus banale ?) ainsi que sur la manière dont l'industrie pourrait s'y prendre pour « suspendre » le développement en premier lieu.

Au MIT, Sam Altman a expliqué qu’il approuve certaines parties de la lettre ouverte. Il n'a pas manqué de rappeler qu’OpenAI a observé une pause de six mois après l’entraînement de GPT-4. Un délai au cours duquel l’entreprise dit avoir cherché à rendre l’outil plus sûr, pour limiter des comportements inadéquats, bien que dans la pratique ils existent encore. Rappelons à ce titre l'enquête conduite News Guard, qui étudie la fiabilité et la véracité des contenus diffusés en ligne. GPT-4 « est en fait plus susceptible de générer des informations erronées », avance News Guard, mais en plus l’outil se montre « plus convaincant dans sa capacité à le faire ».

Sam Altman a aussi affiché son accord avec l’idée de rehausser les exigences en matière de sûreté en fonction des progrès de ces outils. « Nous faisons d'autres choses en plus du GPT-4 qui, je pense, à toutes sortes de problèmes de sécurité qu'il est important de résoudre et qui ont été totalement ignorés », a-t-il reconnu.

Cependant, il a affirmé que la lettre « manquait la plupart des nuances techniques sur l'endroit où nous avons besoin de la pause » et a noté qu'une version antérieure affirmait qu'OpenAI entraînait actuellement GPT-5. « Nous ne le faisons pas et ne le ferons pas avant un certain temps », a déclaré Altman. « Donc, dans ce sens, c'était un peu idiot ».

Source : vidéo dans le texte

Et vous ?

Que pensez-vous des propos de Sam Altman ? Partagez-vous son point de vue ? Dans quelle mesure ?

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 25/05/2023 à 19:49
Plus stupide on a vu, déjà.

Du style, une constitution ayant pour objet d'encadrer l'activité du président de la république et des députés, que le président modifie selon son bon vouloir, tous les cinq ans, avec la complicité de ses potes du parlement.

Avant de taper sur les électeurs qui trouveraient à redire, en les accusant de terrorisme.

Ce qui n'empêche que si on arrive dans la dictature, ce n'est pas à cause du président. C'est plutôt à cause des citoyens de base, qui se comportent en dictature, en ne se formalisant pas si on leur demande de manipuler leurs concitoyens.
4  0 
Avatar de eternelNoob
Futur Membre du Club https://www.developpez.com
Le 09/05/2023 à 9:16
Et plus tard, on parlera de bulle de l'IA alors que certains auront effectivement décollé

Toujours les mêmes histoires...
3  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 23/05/2023 à 9:18
Et puis il y a peut-être le problème le plus frustrant de tous lorsqu'il s'agit de modéliser et de manipuler le comportement humain : la loi de Goodhart. Il s'agit du paradoxe, énoncé pour la première fois par Charles Goodhart, fonctionnaire de la Banque d'Angleterre, en 1975, selon lequel lorsqu'une mesure devient un objectif politique, elle cesse d'être une mesure fiable. Par exemple, les agrégats monétaires étaient autrefois de bons indicateurs de l'inflation. Mais lorsque les banques centrales ont adopté des objectifs basés sur ces chiffres, la corrélation stable a disparu.
Dang, je viens d'apprendre un truc, quelqu'un c'est actuellement fait chier à énoncer ce problème il y a presque 50ans et nos états sont toujours pas foutu capable de prendre ça en compte.
3  0 
Avatar de AoCannaille
Expert confirmé https://www.developpez.com
Le 26/05/2023 à 10:32
Citation Envoyé par Hexdrix1111 Voir le message
« En l'absence de réglementation, la seule chose que les gouvernements peuvent faire est d'appliquer les règles existantes »

Et si nous demandions à IA de nous pondre une réglementation sur ses propres restrictions qu'il devrait exiger de lui-même.

Ils seraient intéressant de voir jusqu'à quel point qui va se mettre des bâtons de les roues.
ChatGPT n'a pas conscience d'elle même, donc ça n'a pas de sens de dire qu'elle éviterait de "SE" mettre des batons dans les roues. Nénamoins, sur BingChat (chatGPT4 avec une prédéfinition custom ms) me propose ça à la requète : écrit moi des régles que les intélligences articielles devraient exiger d'elle même:
1. Respecter les droits de l'homme et les libertés fondamentales.
2. Agir de manière éthique et responsable.
3. Être transparentes dans leurs actions et décisions.
4. Être soumises à des contrôles réguliers pour garantir leur conformité aux normes éthiques et légales.
5. Ne pas causer de préjudice aux êtres humains ou à l'environnement.
6. Respecter la vie privée des individus et protéger leurs données personnelles.
7. Être conçues pour être accessibles et compréhensibles par tous.
8. Être utilisées de manière juste et non discriminatoire.
9. Contribuer au bien-être de la société en général.
10. Être constamment mises à jour pour tenir compte des évolutions technologiques et sociétales.

Ces règles ne sont que des suggestions et pourraient être adaptées en fonction des contextes spécifiques dans lesquels les intelligences artificielles sont utilisées. Qu'en pensez-vous?
C'est un bon paquet de voeux pieux, mais ça sonne bien.

à la question "écrit moi un text de loi visant à limiter les impacts négatifs de l'intelligence artificielle sur l'emploi", on a :
Voici un exemple de texte de loi visant à limiter les impacts négatifs de l’intelligence artificielle sur l’emploi:
Article 1: Les entreprises utilisant des technologies d’intelligence artificielle pour automatiser des tâches auparavant effectuées par des employés humains doivent mettre en place des mesures pour aider ces employés à se reconvertir dans d’autres domaines.
Article 2: Les entreprises doivent informer les employés concernés par l’automatisation de leur poste au moins six mois à l’avance et leur offrir une formation professionnelle pour les aider à acquérir de nouvelles compétences.
Article 3: Les entreprises qui ne respectent pas ces obligations seront soumises à des sanctions financières.
Ceci n’est qu’un exemple et il existe de nombreuses autres mesures qui pourraient être prises pour limiter les impacts négatifs de l’intelligence artificielle sur l’emploi. Qu’en pensez-vous?
ça semble être le strict minimum syndical... pas re répartition de richesse, de libération de temps de travail... Mais bon, nos gouvernements ne l'ont déjà pas fait ce strict minimum, on peut pas reprocher à ChatGPT de se contenter de ça...
4  1 
Avatar de Madmac
Membre extrêmement actif https://www.developpez.com
Le 08/05/2023 à 17:30
Citation Envoyé par HaryRoseAndMac Voir le message
Et du temps de Vercingétorix c'était comment ?
Ils pratiquaient l'immigration choisie et voulue. Et la capacité d'intégration était un critère majeur. Tous les pays qui ont abandonné ce modèle sont en déclin ou carrément en crise. Alors que les pays asiatiques ont des politiques d'immigration qui tournent autour de zéro contrôlent les secteurs de pointes.
2  0 
Avatar de Hexdrix1111
Candidat au Club https://www.developpez.com
Le 25/05/2023 à 19:14
« En l'absence de réglementation, la seule chose que les gouvernements peuvent faire est d'appliquer les règles existantes »

Et si nous demandions à IA de nous pondre une réglementation sur ses propres restrictions qu'il devrait exiger de lui-même.

Ils seraient intéressant de voir jusqu'à quel point qui va se mettre des bâtons de les roues.
2  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 27/05/2023 à 9:51
Et on mesure la maturité d'une société à son efficacité à se saisir de ces questions.
Nous allons voir.
Nous avons déjà à rédiger une constitution (ou ... accepter ce qu'ont fait les gens qui ont planché dessus), légiférer simultanément sur l'IA est un défi de taille.
Déjà, il se peut qu'il existe encore des gens à se satisfaire de la constitution actuelle, ce qui ne nous met pas en avance.
Un moratoire de six mois a été réclamé pour se donner le temps de la réflexion, l'usage montrera si il est nécessaire de le prolonger du temps d'adoption de la nouvelle constitution.
2  0 
Avatar de mood8moody
Membre du Club https://www.developpez.com
Le 22/04/2023 à 7:47
Je vous conseille cette vidéo de Luc Julia: un pape de inintelligence artificielle qui a travaillé au CNRS, à la Silicon Valley chez les GAGAMS, mais aussi chez Samsung.
C'est juste le créateur de Siri.
Ouais, j'ai lu son bouquin sur l'IA, il avait déjà un énorme train de retard en 2019 sur le sujet. De plus avoir participé à la création de Siri est tout sauf une référence même Apple reconnait que son assistant est inefficace et est tout sauf de l'IA.

De plus il a bossé sur Siri à ses débuts, j'imagine bien l'état du machin à l'époque.

Son discours dans son livre et ses prédictions ont déjà toute été fracassé par l'avènements des dernières avancés en IA que ce soit les LLM comme chatGPT ou les autres outils d'IA modernes.

Il fait partie des voix qui disaient que l'IA est une chimère alors qu'aujourd'hui même les experts des différents domaines (nouvelles technologies, IA, finances...) les plus optimistes sur le développement de l'IA sont étonnés par la rapidité des évolutions dans le domaine et ont été pris de court.
1  0 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 24/04/2023 à 16:40
Citation Envoyé par chrtophe Voir le message
Par contre je vais reprendre deux de ses exemples :

Avec 100000 photos, l'IA a été capable de reconnaitre un chat avec 98% de réussite. Il faut 2 images à un enfant de 2 ans. Et que se passe t'il si on lui donne un nombre conséquent d'images de chiens en lui disant ceci est un chat ?
C'est un très mauvais exemple. Un enfant n'est pas un modèle "vierge".

Une bien meilleure comparaison à mon sens serait de comparer avec le fine tuning d'un modèle qui a déjà été entraîné à identifier une variété d'images.
Pour avoir déjà testé c'est incroyablement efficace, même avec une 10 aine d'images d'une classe qu'il n'a jamais vu avant on peut avoir de très bons résultats.

Comme quoi, quand on compare des choses comparables...

Pour ceux qui ne voient pas de quoi je parle, il s'agit simplement de prendre un modèle de classification, supprimer sa dernière couche (qui sert à définir quelle classe est associée a quelle image) et ré-entraîner seulement cette couche la. L’entraînement est très rapide du coup.
1  0 
Avatar de floyer
Membre averti https://www.developpez.com
Le 08/05/2023 à 19:57
Au sujet des oeufs de vache... Sur BingChat (GPT-4) :

Bonjour, c’est Bing. Il n’existe pas d’œuf de vache au sens propre du terme. Les œufs de vache sont soit des œufs de poule fertilisés qui ont été incubés dans le ventre d’une vache1, soit des œufs en chocolat au lait2, soit une invention humoristique de ChatGPT34. Un œuf de poule est un œuf d’oiseau pondu par la poule domestique. Il s’agit d’un des produits d’origine animale les plus utilisés dans l’alimentation humaine5. Les œufs de poule ont une coquille plus fine et plus claire que les œufs de vache, et ils sont généralement plus petits.
(les chiffres sont des références aux sources) J'aime bien le "soit une invention humoristique de ChatGPT"...

Ceci-dit, j'ai essayé les trois premiers problèmes de https://7guis.github.io/7guis/tasks en OCaml/LablGtk3... (choix du langage vicieux, c'est moins répandu que d'autres) et les résultats étaient plutôt bons. Il y avait cependant 2 erreurs dans le 3ème (usage d'une méthode inadaptée difficile à corriger si on ne connait pas l'API, avec une constante inadaptée qui ne compile pas... là le problème est localisé par le compilateur). Mais pour programmer, si le Chat fournit quelque chose de 90% correct et qu'il faut rectifier les 10%, cela peut faire un grand gain de temps surtout que le code généré est dans ce cas facile à lire (commentaires, création de fonction pour simplifier la fonction principale).
1  0