Databricks, une société spécialisée dans les données et l'IA, a annoncé aujourd'hui le lancement de DBRX, un grand modèle de langage (LLM) à usage général qui surpasse tous les modèles open source établis sur des benchmarks standard. DBRX démocratise l'entraînement et le réglage de LLM personnalisés et performants pour toutes les entreprises, afin qu'elles n'aient plus besoin de s'appuyer sur une petite poignée de modèles fermés. Disponible dès aujourd'hui, DBRX permet aux organisations du monde entier de construire, d'entraîner et d'utiliser de manière rentable leurs propres LLM personnalisés." Chez Databricks, notre vision a toujours été de démocratiser les données et l'IA. Nous y parvenons en fournissant une intelligence des données à toutes les entreprises - en les aidant à comprendre et à utiliser leurs données privées pour construire leurs propres systèmes d'IA. DBRX est le résultat de cet objectif", a déclaré Ali Ghodsi, cofondateur et PDG de Databricks. "Nous sommes enthousiasmés par DBRX pour trois raisons essentielles : premièrement, il bat les modèles open source sur des benchmarks industriels de pointe. Deuxièmement, il surpasse GPT-3.5 sur la plupart des benchmarks, ce qui devrait accélérer la tendance que nous observons chez nos clients, à savoir que les entreprises remplacent les modèles propriétaires par des modèles open source. Enfin, DBRX utilise une architecture de mélange d'experts, ce qui rend le modèle extrêmement rapide en termes de jetons par seconde, tout en étant rentable à utiliser. Dans l'ensemble, DBRX établit un nouveau standard pour les LLM open source - il offre aux entreprises une plateforme pour construire des capacités de raisonnement personnalisées basées sur leurs propres données".
DBRX surpasse les modèles open source dans les benchmarks industriels
DBRX surpasse les LLM open source existants tels que Llama 2 70B et Mixtral-8x7B sur les benchmarks industriels standards, tels que la compréhension du langage, la programmation, les mathématiques et la logique. (Voir figure 1).
DBRX surpasse également GPT-3.5 sur des benchmarks pertinents. (Voir figure 2.)
Pour un examen approfondi des évaluations des modèles et des benchmarks de performance, et pour voir comment DBRX est compétitif par rapport à la qualité de GPT-4 pour des cas d'utilisation interne tels que SQL, visitez le blog de Mosaic Research.
DBRX établit un nouveau standard pour les LLM open source efficaces
DBRX a été développé par Mosaic AI et entraîné sur le cloud NVIDIA DGX. Databricks a optimisé DBRX pour l'efficacité avec une architecture de mélange d'experts (MoE), construite sur le projet open source MegaBlocks. Le modèle qui en résulte présente des performances de premier plan et est jusqu'à deux fois plus efficace en termes de calcul que d'autres LLM de premier plan existants.
DBRX établit un nouveau standard pour les modèles open source, permettant une IA générative personnalisable et transparente pour toutes les entreprises. Une enquête récente d'Andreessen Horowitz a révélé que près de 60 % des leaders de l'IA souhaitent augmenter l'utilisation de l'open source ou passer à l'open source lorsque des modèles open source finement ajustés atteignent à peu près les performances des modèles à source fermée. En 2024 et au-delà, les entreprises s'attendent à un changement significatif de l'utilisation de la source fermée vers la source ouverte. Databricks pense que DBRX accélérera cette tendance.
Les organisations bénéficient de capacités de niveau entreprise avec DBRX sur la Data Intelligence Platform
Associé à l'outillage unifié de Databricks Mosaic AI, DBRX aide les clients à créer et à déployer rapidement des applications d'IA générative de qualité production qui sont sûres, précises et gouvernées sans renoncer au contrôle de leurs données et de leur propriété intellectuelle. Les clients bénéficient de capacités intégrées de gestion, de gouvernance, de lignage et de surveillance des données sur la plateforme Databricks Data Intelligence.
Témoignages de soutien
"Chez Accenture, nous sommes à la pointe de la mise en œuvre de solutions d'IA générative - en utilisant des techniques avancées pour adapter les modèles open source aux besoins uniques de nos clients avec nos services de personnalisation des modèles de base", a déclaré Lan Guan, Chief AI Officer chez Accenture. "La disponibilité de modèles open source plus sophistiqués peut offrir de nouvelles opportunités de générer des résultats significatifs pour nos clients dans chaque partie de l'entreprise."
"Nous sommes à un point d'inflexion important pour l'IA qui nécessite une communauté de chercheurs, d'ingénieurs et de technologues pour mieux la comprendre et conduire une innovation significative. C'est pourquoi notre équipe à AI2 est profondément engagée à faire progresser la science de l'IA générative par le développement de modèles ouverts et se réjouit de voir de nouveaux modèles comme DBRX apporter plus de transparence, d'accessibilité et de collaboration à l'industrie", a déclaré Dirk Groeneveld, ingénieur logiciel principal à l'Allen Institute for Artificial Intelligence (AI2).
"Chez Block, nous utilisons des outils d'IA générative pour donner de l'autonomie à nos clients et faire gagner du temps aux employés de Block grâce à l'automatisation des flux de travail. Nous sommes impatients d'explorer les capacités de DBRX pour renforcer les capacités de notre génération de code assistée par l'IA et la récupération des connaissances en fonction du contexte ", a déclaré Jackie Brosamer, responsable de l'ingénierie de la plateforme Data & ML chez Block.
"Databricks est un partenaire clé du Nasdaq sur certains de nos systèmes de données les plus importants. Ils continuent d'être à l'avant-garde de l'industrie dans la gestion des données et l'exploitation de l'IA, et nous sommes ravis de la sortie de DBRX. La combinaison d'un modèle performant et d'une économie de service favorable est le type d'innovation que nous recherchons pour développer notre utilisation de l'IA générative chez Nasdaq", a déclaré Mike O'Rourke, responsable de l'IA et des services de données chez NASDAQ.
"En tant que l'un des plus grands investisseurs technologiques au monde, Prosus reconnaît le pouvoir de transformation de l'IA générative. Nous attendons avec impatience la sortie de DBRX et son potentiel à donner à plus d'entreprises la capacité de construire des modèles personnalisés sécurisés, portables et hautement performants", a déclaré Paul van der Boor, directeur principal de la science des données chez Prosus Group.
"Nous avons travaillé en étroite collaboration avec l'équipe Mosaic AI de Databricks pour construire des LLM personnalisés qui démocratisent l'accès au codage pour le prochain milliard de développeurs logiciels. Avec la sortie du nouveau et puissant modèle DBRX open-source, nous prévoyons l'adoption accélérée de modèles d'IA générative sécurisés qui sont personnalisés en fonction des données d'une organisation", a déclaré Michele Catasta, vice-président de l'IA chez Replit.
"Notre étude montre que les entreprises prévoient de consacrer la moitié de leur budget d'IA à l'IA générative", a déclaré Dave Menninger, directeur exécutif de Ventana Research, qui fait partie de l'ISG. "L'un des trois principaux défis auxquels elles sont confrontées est la sécurité et la confidentialité des données. Avec sa Data Intelligence Platform de bout en bout et l'introduction de DBRX, Databricks permet aux entreprises de créer des applications d'IA générative qui sont gouvernées, sécurisées et adaptées au contexte de leur activité, tout en conservant le contrôle et la propriété de leur propriété intellectuelle tout au long du processus."
"Zoom a utilisé la puissance des LLM pour mettre en œuvre de nouvelles fonctionnalités de la plateforme comme notre AI Companion. Nous sommes impatients d'évaluer le potentiel de DBRX pour rendre l'entraînement et le service de modèles d'IA générative personnalisés plus rapides et plus rentables pour nos principaux cas d'utilisation", a déclaré Chenguang Zhu, responsable de la science GenAI chez Zoom.
Disponibilité
DBRX est disponible gratuitement sur GitHub et Hugging Face pour la recherche et l'utilisation commerciale. Dès aujourd'hui sur la plateforme Databricks, les entreprises peuvent interagir avec DBRX, exploiter ses capacités de contexte long dans les systèmes de génération augmentée de récupération (RAG), et construire des modèles DBRX personnalisés sur leurs propres données uniques. DBRX est également disponible sur AWS et Google Cloud, ainsi que directement sur Microsoft Azure via Azure Databricks.
DBRX devrait également être disponible via le catalogue d'API de NVIDIA et pris en charge par le microservice d'inférence NVIDIA NIM.
À propos de Databricks
Databricks est une entreprise spécialisée dans les données et l'IA. Plus de 10 000 organisations dans le monde - dont Comcast, Condé Nast, Grammarly et plus de 50 % des entreprises du Fortune 500 - s'appuient sur la Data Intelligence Platform de Databricks pour unifier et démocratiser les données, l'analytique et l'IA. Databricks a son siège à San Francisco, avec des bureaux dans le monde entier, et a été fondée par les créateurs originaux de Lakehouse, Apache Spark™, Delta Lake et MLflow.
Source : "Databricks Launches DBRX, A New Standard for Efficient Open Source Models" (Databricks)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du modèle DBRX et de ses potentialités ? Trouvez-vous cette initiative de Databricks pertinente et cohérente ?Voir aussi :
Quelle est la meilleure option pour les entreprises : des services d'IA libres ou commerciaux ? défis et limites d'une approche open source de l'intelligence artificielle Faut-il que les entreprises publient leurs modèles d'IA en open source ? Oui, selon Yann Lecun de Meta opposé aux avis selon lesquels ce serait fournir de puissantes armes à des criminels Hugging Face lance un fabricant d'assistants IA open source pour rivaliser avec les GPT personnalisés d'OpenAI, l'outil est gratuit et permet de choisir parmi plusieurs LLM open source