Microsoft annonce GPT-4, le modèle de langage, de type transformeur génératif pré-entraîné et assure qu'elle n'utilise pas les données de ses clients pour former ses modèles,

Il sera multimodal

Le 11 mars 2023 à 11:43, par Bruno

92PARTAGES

La sortie de GPT-4 est imminente, comme l'a indiqué Andreas Braun, directeur technique de Microsoft Allemagne, lors d'un événement de lancement de l'IA le 9 mars 2023. L'intelligence artificielle et son application dans de multiples secteurs progressent à un rythme vertigineux compte tenu des opportunités infinies qu'elle offre aux entreprises de tous types et de tous secteurs. Jour après jour, nous assistons à l'émergence de nouveaux produits d'IA et d'apprentissage automatique sur le marché. Cependant, l'Intelligence Artificielle Multimodale est un grand trésor à découvrir, car il existe très peu de solutions professionnelles sur le marché capables de travailler dans ce domaine technologique extrêmement innovant.

GPT-4 arrive la semaine prochaine : lors d'un événement d'information hybride d'environ une heure intitulé AI in Focus - Digital Kickoff le 9 mars 2023, quatre employés de Microsoft Allemagne ont présenté en détail les grands modèles de langage (LLM) comme la série GPT en tant que force perturbatrice pour les entreprises et leur offre Azure-OpenAI.

ChatGPT par exemple est un LLM. Alors que la classe précédente de modèles d'intelligence artificielle était principalement constituée de modèles d'apprentissage profond (Deep Learning, DL), conçus pour apprendre et reconnaître des modèles dans les données, les LLM sont un nouveau type d'algorithme d'intelligence artificielle formé pour prédire la probabilité d'une séquence de mots donnée en fonction du contexte des mots qui la précèdent.

Ainsi, si les LLM sont formés sur des quantités suffisamment importantes de données textuelles, ils sont capables de générer de nouvelles séquences de mots jamais observées auparavant par le modèle, mais qui représentent des séquences plausibles basées sur le langage humain naturel.

Le fait que Microsoft peaufine la multimodalité avec OpenAI ne devrait plus être un secret

L'événement de lancement s'est déroulé en allemand, en présence du média Heise. Andreas Braun, CTO Microsoft Germany et Lead Data & AI STU, a mentionné de manière plutôt décontractée la sortie imminente de GPT-4. Le fait que Microsoft peaufine la multimodalité avec OpenAI ne devrait plus être un secret depuis la sortie de Kosmos-1 au début du mois de mars.

Microsoft a publié son document de recherche, intitulé Language Is Not All You Need: Aligning Perception with Language Models. Le modèle présente un grand modèle de langage multimodal (MLLM) appelé Kosmos-1. L'article souligne l'importance d'intégrer le langage, l'action, la perception multimodale et la modélisation du monde pour progresser vers l'intelligence artificielle. La recherche explore Kosmos-1 dans différents contextes.

Les grands modèles de langage (LLM) ont servi avec succès d'interface polyvalente pour diverses tâches de langage naturel [BMR+20]. L'interface basée sur les LLM peut être adaptée à une tâche tant que nous sommes capables de transformer l'entrée et la sortie en textes. Par exemple, l'entrée du résumé est un document et la sortie est son résumé. Les chercheurs peuvent donc introduire le document d'entrée dans le modèle de langage, puis produire le résumé généré.

KOSMOS-1 est un grand modèle de langage multimodal (MLLM) qui peut percevoir des modalités générales, suivre des instructions (c.-à-d., apprentissage à zéro coup) et apprendre en contexte (c.-à-d., apprentissage à quelques coups). L'objectif est d'aligner la perception avec les MLLMs, de sorte que les modèles soient capables de voir et de parler. Pour être plus précis, nous suivons METALM [HSD+22] pour former le modèle KOSMOS-1 à partir de zéro.

Le modèle montre des capacités prometteuses sur diverses tâches de génération en percevant des modalités générales telles que le NLP sans OCR, l'AQ visuelle, et les tâches de perception et de vision. L'équipe de recherche de Microsoft a également présenté le modèle à un ensemble de données du test de QI de Raven pour analyser et diagnostiquer les possibilités de raisonnement non verbal des MLLM. « Les limites de ma langue signifient les limites de mon monde », Ludwig Wittgenstein.

« Nous présenterons le GPT-4 la semaine prochaine et nous aurons des modèles multimodaux qui offriront des possibilités complètement différentes, par exemple des vidéos », a déclaré Braun. Le directeur technique a qualifié les LLM de « changeurs de jeu », car ils apprennent aux machines à comprendre le langage naturel, ce qui leur permet de comprendre de manière statistique ce qui n'était auparavant lisible et compréhensible que par les humains. Entre-temps, la technologie a tellement progressé qu'elle « fonctionne dans toutes les langues » : Vous pouvez poser une question en allemand et obtenir une réponse en italien. Grâce à la multimodalité, Microsoft(-OpenAI) « rendra les modèles complets ».

Qu'est-ce que l'IA multimodal ?

Les gens sont capables de comprendre la signification du croisement de différents types de données [texte, vidéo, image et audio] lorsqu'ils interagissent dans un contexte donné. Par exemple, si nous voyons une photographie d'un théâtre vide, nous pouvons interpréter que le spectacle est terminé ou qu'il n'y avait pas de public. En revanche, si nous voyons la même photographie accompagnée d'un texte indiquant « La pandémie vide les théâtres », nous comprenons qu'en raison de la crise sanitaire, les spectacles culturels ont été annulés. Cet exemple nous aide à comprendre le concept de multimodalité appliqué à l'intelligence artificielle.

Les systèmes d'intelligence artificielle multimodaux se caractérisent par le traitement d'ensembles multiples de différents types de données à l'aide de méthodes basées sur l'apprentissage afin de fournir des informations plus précises, plus véridiques et plus intelligentes. En d'autres termes, l'apprentissage multimodal est capable de consolider des données indépendantes provenant de plusieurs dispositifs d'intelligence artificielle en un seul modèle et de faire des prédictions automatiquement.

Cas d'utilisation de l'IA multimodale

L'application de l'IA multimodale est extensible à tous les secteurs d'activité. De plus en plus, nous constatons que les entreprises et organisations innovantes s'intéressent à ce domaine de l'intelligence artificielle et à la manière dont elles peuvent le mettre en œuvre dans leurs stratégies de transformation numérique.
L'industrie automobile, par exemple, travaille avec l'IA multimodale dans ses systèmes d'aide à la conduite, ses assistants IHM (interface homme-machine) dans les véhicules et ses systèmes de surveillance des conducteurs conçus pour détecter le sommeil, la fatigue, les distractions ou la perte d'attention.

Il s'agit de communiquer avec notre voiture par le biais de notre voix (traitement du langage naturel), de notre image (inspection visuelle) et de nos actions. D'autres secteurs importants où l'application de l'intelligence artificielle multimodale est prometteuse sont :

le secteur des soins de santé et l'industrie pharmaceutique, avec la possibilité d'établir des diagnostics automatiquement et immédiatement grâce à l'analyse multimodale des données d'image, des symptômes, des antécédents et de l'histoire des patients ;
le secteur des médias et du divertissement avec ses systèmes de recommandation, la publicité personnalisée et le remarketing.

Il ne faut pas oublier le domaine de la conception de produits ou toute autre activité dans laquelle l'association entre les concepts visuels et textuels est stratégique et fondamentale. En ce sens, la multimodalité permet de générer des images à partir de descriptions textuelles et, inversement, de catégoriser instantanément des images grâce à la reconnaissance visuelle.

On le voit, les applications dans l'industrie sont infinies. Il suffit d'imaginer pour désirer et trouver l'allié technologique parfait pour mettre en œuvre de nouveaux systèmes d'IA multimodale capables de révolutionner les processus de n'importe quelle entreprise.

Perturbation des entreprises par l'intelligence artificielle

Braun a été rejoint par Marianne Janik, PDG de Microsoft Allemagne, qui a parlé de manière générale de la perturbation des entreprises par l'intelligence artificielle. Janik a souligné le potentiel de création de valeur de l'intelligence artificielle et a parlé d'un tournant dans le temps. Il ne s'agit pas de remplacer des emplois, mais d'effectuer des tâches répétitives d'une manière différente. Un point qui est souvent oublié dans le débat public est que « nous, en Allemagne, avons encore beaucoup d'héritage dans nos entreprises » et « gardons de vieux trésors en vie pendant des années ».

Depuis des centaines d'années, les sociétés industrialisées craignent que les nouvelles technologies ne remplacent le travail humain et n'entraînent un chômage généralisé, « et ce malgré l'augmentation quasi continue des emplois et des salaires dans les économies capitalistes, déclare Marc Andreessen, membre de l'équipe d'étudiants de l'Université de l'Illinois qui a développé, en 1993, Mosaic, le premier navigateur web complet disponible pour les systèmes d'exploitation Mac OS, Windows et UNIX.. L'apocalypse de l'emploi est toujours au coin de la tête ; il suffit de demander aux luddites. »

Selon Marc Andreessen, nous nous dirigeons vers la troisième panique de ce type du nouveau siècle avec l'IA. « Normalement, j'avancerai les arguments habituels contre le chômage d'origine technologique. Mais je ne pense même pas que ces arguments soient nécessaires, puisqu'un autre problème bloquera d'abord les progrès de l'IA dans la majeure partie de l'économie. Il s'agit du problème suivant : l'IA est déjà illégale pour la majeure partie de l'économie, et le sera pour la quasi-totalité de l'économie. »

Les perturbations ne sont pas nécessairement synonymes de pertes d'emplois. Il faudra « de nombreux experts pour que l'utilisation de l'IA apporte une valeur ajoutée », a souligné Janik. Les descriptions d'emploi traditionnelles sont en train de changer et de nouvelles professions passionnantes émergent grâce à l'enrichissement des nouvelles possibilités. Elle recommande aux entreprises de créer des « centres de compétences » internes capables de former les employés à l'utilisation de l'IA et de regrouper les idées de projets.

En outre, le PDG a souligné que Microsoft n'utilise pas les données de ses clients pour former des modèles (ce qui, toutefois, ne s'applique pas ou ne s'est pas appliqué au moins à son partenaire de recherche OpenAI conformément à sa politique ChatGPT). ChatGPT a pris le monde d'assaut depuis son lancement, avec son habileté à écrire des essais, des articles, des poèmes et du code informatique en quelques secondes seulement.

ChatGPT est un robot à grand modèle de langage (ils permettent de prédire le mot suivant dans une série de mots) développé par OpenAI et basé sur GPT-3.5. Il a une capacité remarquable à interagir sous forme de dialogue conversationnel et à fournir des réponses qui peuvent sembler étonnamment humaines.

L'apprentissage par renforcement avec retour d'information humain (RLHF) est une couche supplémentaire de formation qui utilise le retour d'information humain pour aider ChatGPT à apprendre à suivre des instructions et à générer des réponses satisfaisantes pour les humains. ChatGPT a été créé par OpenAI, une société d'intelligence artificielle basée à San Francisco, connue pour son célèbre DALL-E, un modèle d'apprentissage profond qui génère des images à partir d'instructions textuelles appelées "prompts".

Janik a parlé d'une « démocratisation », ce qui, il est vrai, ne signifie que l'utilisation immédiate des modèles dans le cadre de la gamme de produits Microsoft, en particulier leur large disponibilité grâce à l'intégration de l'IA dans la plateforme Azure, Outlook et Teams.

Des cas d'utilisation déjà possibles aujourd'hui

Clemens Sieber (Senior AI Specialist) et Holger Kenn (Chief Technologist Business Development AI & Emerging Technologies, tous deux chez Microsoft Allemagne) ont présenté un aperçu de l'utilisation pratique de l'IA et des cas d'utilisation concrets sur lesquels leurs équipes travaillent actuellement, mais aussi des contextes techniques. Kenn a expliqué ce qu'est l'IA multimodale, qui peut traduire un texte non seulement en images, mais aussi en musique et en vidéo. Il a parlé des embeddings, qui sont utilisés pour la représentation interne du texte dans le modèle, en plus de la classe de modèle GPT-3.5.

Selon Kenn, l'IA responsable est déjà intégrée dans les produits Microsoft et « des millions de requêtes peuvent être mappées dans les API » via le nuage. La plupart des participants ont probablement été d'accord avec lui sur un point essentiel, à savoir qu'il est temps de commencer. Dans le domaine de la programmation en particulier, des modèles tels que Codex et Copilot facilitent la création de code standard.

Clemens Siebler a illustré par des cas d'utilisation ce qui est déjà possible aujourd'hui. Par exemple, les appels téléphoniques en speech-to-text pourraient être enregistrés et les agents d'un centre d'appel ne devraient plus résumer et taper manuellement le contenu. Selon Siebler, un grand client de Microsoft aux Pays-Bas, qui reçoit 30 000 appels par jour, pourrait ainsi économiser 500 heures de travail par jour.

Le prototype du projet ayant été créé en deux heures, un seul développeur a mis en œuvre le projet en quinze jours (plus un délai supplémentaire pour la mise en œuvre finale). Selon lui, les trois cas d'utilisation les plus courants sont la réponse à des questions sur les connaissances de l'entreprise qui ne sont accessibles qu'aux employés, le traitement de documents assisté par l'IA et la semi-automatisation par le traitement du langage parlé dans le centre d'appel et de réponse.

Interrogé sur la fiabilité opérationnelle et la fidélité des faits, Siebler a déclaré que l'IA ne répondra pas toujours correctement et qu'il est donc nécessaire de la valider. Microsoft est en train de créer des mesures de confiance pour résoudre ce problème. Les clients n'utilisent souvent l'IA que pour leurs propres ensembles de données, principalement pour la compréhension de la lecture et l'interrogation des données d'inventaire, où les modèles sont déjà assez précis.

Cependant, le texte généré par le modèle reste génératif et n'est donc pas facilement vérifiable. « Nous construisons une boucle de rétroaction autour du modèle avec des pouces en l'air et des pouces en bas », a déclaré Siebler - il s'agit d'un processus itératif. Il est intéressant de noter qu'aucun des quatre employés de Microsoft n'a commenté l'intégration de l'IA dans le moteur de recherche de l'entreprise, « le nouveau Bing ».

Microsoft et la réglementation matière d'IA

En ce qui concerne la réglementation, Microsoft Allemagne a adopté une position plus positive lors de l'événement de lancement de l'IA que la position de Microsoft et des États-Unis déposée à Bruxelles, soulignant en particulier les dangers de la réglementation pour l'innovation et la communauté de base. « L'open source doit bien sûr pouvoir prospérer », a déclaré Janik. Il s'agit incontestablement d'une préoccupation importante, mais son défenseur ne s'appelle probablement pas Microsoft.

Au sujet des tentatives d'influence sur les procédures législatives européennes, l'édition allemande de la MIT Technology Review avait rapporté début mars 2023, et il y a un an, un fournisseur de cloud français avait déposé une plainte antitrust pour pratiques anticoncurrentielles de la part des hyperscalers. Dans ce contexte, les engagements en matière d'équité, de sécurité, de droit à la vie privée et de fiabilité auraient pu constituer un message plus important pour les entreprises clientes et partenaires.

Microsoft a fait l'objet d’un grief antitrust en Europe concernant ses services de cloud computing. En début d'année 2022, la société française OVHcloud a déposé une plainte selon laquelle Microsoft abuse de sa position pour nuire à la concurrence, ajoutant aux récentes critiques sur les pratiques concurrentielles d'une société qui a largement évité l'examen réglementaire récent visant les géants technologiques rivaux.

Selon le billet de Nicole Dezen, les nouvelles conditions de licence permettront aux entreprises clientes de Microsoft d'intégrer plus facilement les logiciels Microsoft dans une infrastructure non Microsoft et de faire évoluer le coût et la taille de leurs systèmes Microsoft ou de ceux de leurs clients sur leur propre matériel.

La Chambre de commerce des États-Unis a appelé à une réglementation des technologies d'intelligence artificielle afin de s'assurer qu'elles ne nuisent pas à la croissance ou ne deviennent pas un risque pour la sécurité nationale, s'écartant ainsi de la position anti-réglementaire habituelle du groupe de lobbying des entreprises.

Les lecteurs intéressés par les activités des entreprises BigTech comme Microsoft autour de la loi sur l'IA à Bruxelles devraient se référer aux résultats de recherche du groupe de surveillance du lobbying Corporate Europe Observatory, en particulier son rapport The Lobbying Ghost in the Machine datant de la fin février 2023. En coulisses, BigTech semble vouloir préserver ses modèles d'IA générative d'un engagement trop fort en faveur de la sécurité de l'IA et des normes juridiques européennes, et plutôt transférer les obligations réglementaires et la responsabilité de tout dommage aux fournisseurs et groupes d'utilisateurs européens.

Il est important d'en tenir compte, car les sanctions contractuelles prévues par la prochaine loi sur l'IA pour l'utilisation de l'IA à haut risque (qui inclut encore actuellement ChatGPT and Co.) pourraient frapper durement une entreprise, avec jusqu'à 30 millions d'euros ou 6 pour cent du chiffre d'affaires annuel.

Les détails peuvent être trouvés dans le projet de règlement accessible au public, par exemple à l'article 71 sous « Sanctions ». L'événement d'information de Microsoft n'était cependant pas une conférence de presse sur ce sujet, mais visait probablement davantage les clients commerciaux potentiels ou existants ainsi que les futures entreprises partenaires.

Source : Microsoft Germany

Et vous ?