Le modèle, dont le nom de code est "Olympus", compte 2 000 milliards de paramètres, ce qui pourrait en faire l'un des plus grands modèles en cours d'apprentissage. Le modèle GPT-4 d'OpenAI, l'un des meilleurs modèles disponibles, aurait 1000 milliards de paramètres.L'équipe est dirigée par Rohit Prasad, ancien responsable d'Alexa, qui dépend désormais directement du PDG Andy Jassy. En tant que responsable scientifique de l'intelligence artificielle générale (AGI) chez Amazon, Prasad a fait appel à des chercheurs qui travaillaient sur l'IA d'Alexa et à l'équipe scientifique d'Amazon pour travailler sur les modèles d'entraînement, unissant les efforts d'IA dans toute l'entreprise avec des ressources dédiées.
Amazon a déjà formé des modèles plus petits tels que Titan. Elle s'est également associée à des startups spécialisées dans les modèles d'IA, telles qu'Anthropic et AI21 Labs, pour les proposer aux utilisateurs d'Amazon Web Services (AWS).
Amazon pense que le fait d'avoir des modèles maison pourrait rendre ses offres plus attrayantes sur AWS, où les entreprises clientes veulent avoir accès à des modèles très performants, ont déclaré les personnes au fait du dossier, ajoutant qu'il n'y a pas de calendrier précis pour le lancement du nouveau modèle.
Les LLM sont la technologie sous-jacente des outils d'IA qui apprennent à partir d'énormes ensembles de données pour générer des réponses semblables à celles de l'homme.
La formation de modèles d'IA plus importants est plus coûteuse en raison de la puissance de calcul requise. Lors d'une conférence téléphonique sur les résultats en avril, les dirigeants d'Amazon ont déclaré que l'entreprise augmenterait ses investissements dans les LLM et l'IA générative tout en réduisant ses activités de traitement des commandes et de transport dans le secteur de la vente au détail.
Source : Amazon
Et vous ?
Qu'en pensez-vous ? Olympus d'Amazon sera-t-il plus puissant que GPT-4 d'OpenAI ?Voir aussi :
Les LLM (grand modèle de langage) peuvent générer des JSON (JavaScript Object Notation) valides dans 100% des cas, selon Rémi Louf Les grands modèles de langage (LLM) comprennent et peuvent être améliorés par des stimuli émotionnels, d'après un sujet de recherche Les grands modèles de langage (LLM) comprennent et peuvent être améliorés par des stimuli émotionnels, d'après un sujet de recherche