Groq Inc, une startup spécialisée dans la fabrication de puces pour l'intelligence artificielle et l'apprentissage automatique, a annoncé qu'elle a levé 640 millions de dollars lors d'un tour de table dirigé par Blackrock Inc. La startup conçoit des puces à semi-conducteurs et des logiciels qui optimisent les activités d'IA déployées, connues sous le nom d'inférence, dans le but de concurrencer les plus grands noms de l'industrie tels que Nvidia Corp. Le cycle de financement de série D valorise l'entreprise à 2,8 milliards de dollars et porte le total des fonds levés à ce jour à plus d'un milliard de dollars, y compris une série C de 300 millions de dollars en 2021.L’inférence en intelligence artificielle (IA) est le processus par lequel un modèle d’apprentissage automatique, déjà entraîné, génère des prédictions ou des décisions à partir de nouvelles données d’entrée. Concrètement, il applique les connaissances acquises lors de l’entraînement sur des données passées pour interpréter des données jusqu’alors inconnues. Par exemple, une voiture autonome capable de reconnaître un panneau d’arrêt sur une route inconnue effectue une inférence en identifiant ce panneau. Les cas d’utilisation de l’inférence sont vastes, allant des modèles de langage aux systèmes de détection d’anomalies en temps réel.
La société a été fondée en 2016 par le directeur général Jonathan Ross, un ancien ingénieur de Google LLC qui a inventé les processeurs d'apprentissage machine TPU du géant de la recherche. Le produit phare de l'entreprise est une puce d'IA appelée moteur d'inférence LPU. Le LPU, acronyme de Language Processing Unit (unité de traitement du langage), est conçu pour alimenter de grands modèles de langage en production après qu'ils ont été conçus et entraînés.
Lors d'un test de vitesse effectué en novembre, Groq a établi un record de vitesse d'inférence en exécutant le LLM Llama 2 70B de Meta Platform Inc. Lors de ce test, les puces et la pile logicielle de l'entreprise ont placé la barre des performances et de la précision pour le modèle d'IA de Meta, avec plus de 300 jetons par seconde et par utilisateur.
Depuis, l'entreprise a mis à jour sa pile afin que les entreprises puissent intégrer le plus grand modèle ouvert de Meta, le Llama 3.1 405B, sur son matériel. Cela inclut d'autres modèles Llama 3.1 de la famille tels que 70B Instruct, 40B Instruct et 8B Instruct.
Ross a déclaré que le nouveau financement permettra à l'entreprise de déployer plus de 100 000 LPU supplémentaires dans GroqCloud, le service basé sur le cloud de l'entreprise pour l'inférence de l'IA : « On ne peut pas alimenter l'IA sans calcul d'inférence », a-t-il indiqué, précisant que « Nous avons l’intention de mettre les ressources à disposition afin que tout le monde puisse créer des produits IA de pointe, pas seulement les plus grandes entreprises technologiques. Ce financement nous permettra de déployer plus de 100 000 unités de traitement d’inférence (LPUs) supplémentaires dans GroqCloud. La formation des modèles IA est résolue, il est maintenant temps de déployer ces modèles pour que le monde puisse les utiliser »
Les développeurs peuvent utiliser ce service pour créer et déployer rapidement et facilement des applications d'IA à l'aide de LLM populaires dans l'industrie, notamment Llama 3.1 de Meta, Whisper Large V3 d'OpenAI, Gemma de Google et Mixtral de Mistral AI.
Grâce à GroqCloud, les développeurs bénéficient d'un accès à la demande aux LPU pour leurs applications d'IA, ce qui leur permet de se familiariser avec les puces de l'entreprise et d'optimiser l'architecture. Groq a mis au point ce service en nuage avec l'aide de Definitive Intelligence, un fournisseur d'analyses basé à Palo Alto, en Californie, que l'entreprise a racheté en mars.
« Ayant obtenu le double du financement recherché, nous prévoyons maintenant d'augmenter considérablement notre densité de talents », a ajouté Ross. « Nous sommes l'équipe qui permet à des centaines de milliers de développeurs de construire sur des modèles ouverts et nous embauchons ».
Des arrivées dans son camp
En plus de cette levée de fonds, Groq a annoncé l’arrivée de Stuart Pann, ancien cadre supérieur de HP et Intel, en tant que directeur des opérations. « Je suis ravi d’être chez Groq en ce moment crucial. Nous avons la technologie, le talent et la position sur le marché pour rapidement augmenter notre capacité et offrir des économies de déploiement d’inférence aux développeurs ainsi qu’à Groq », a déclaré Stuart Pann.
Avec l’expertise de son nouvel conseiller technique, Yann LeCun, vice-président et scientifique en chef de l’IA chez Meta, Groq continue d’attirer les développeurs. Plus de 360 000 développeurs utilisent déjà GroqCloud pour créer des applications IA basées sur des modèles disponibles tels que Llama 3.1 de Meta, Whisper Large V3 d’OpenAI, Gemma de Google et Mixtral de Mistral.
Analyse critique de cette levée de fonds
Bien que la levée de fonds de 640 millions de dollars pour Groq soit impressionnante, il est essentiel d’examiner certains aspects de cette opération. Voici quelques points à considérer :
- Manque de transparence : Groq n’a pas divulgué de détails spécifiques sur la manière dont les fonds seront utilisés. Les investisseurs et la communauté technologique devraient exiger plus de transparence concernant les projets de développement et les priorités de l’entreprise.
- Impact sur la concurrence : Avec des acteurs majeurs tels qu’OpenAI, Google et Meta (anciennement Facebook) investissant massivement dans l’IA, Groq devra faire preuve d’innovation continue pour se démarquer. La concurrence est féroce, et la capacité de Groq à rester en tête dépendra de sa capacité à innover rapidement.
- Éthique et responsabilité : L’inférence IA a des implications éthiques importantes, notamment en matière de vie privée et de biais algorithmique. Groq doit s’engager à développer des solutions responsables et à surveiller de près l’utilisation de ses technologies.
- Impact sur l’emploi : Alors que Groq déploie davantage d’unités de traitement d’inférence, il est essentiel de surveiller l’impact sur l’emploi dans le secteur de l’IA. La croissance rapide peut entraîner des perturbations sur le marché du travail.
Source : Groq
Et vous ?
Quelle est votre opinion sur l’importance de l’inférence IA dans notre société ? Considérez-vous que l’inférence IA est essentielle pour l’avenir de la technologie ? Comment elle pourrait impacter nos vies ? Pensez-vous que Groq est bien positionné pour rivaliser avec les géants de l’IA tels qu’OpenAI et Google ? Quels sont les avantages et les inconvénients de la plateforme d’inférence unique de Groq par rapport à ses concurrents ? Quelles préoccupations éthiques devraient être prises en compte lors du développement de technologies d’inférence IA ? Pensez aux implications en matière de vie privée, de biais algorithmique et de responsabilité. Comment pensez-vous que Groq devrait utiliser les fonds levés ? Proposez des idées sur la manière dont Groq pourrait investir ces ressources pour maximiser l’impact positif. 
