Google affirme que sa nouvelle technologie d'entraînement à l'IA est 13 fois plus rapide et 10 fois plus économe en énergie. La nouvelle technologie JEST de DeepMind optimise les données d'entraînement pour obtenir des gains impressionnants.Google DeepMind est un laboratoire de recherche en intelligence artificielle britannico-américain qui sert de filiale à Google. DeepMind a introduit les machines de Turing neuronales, ce qui a permis de créer un ordinateur qui ressemble vaguement à la mémoire à court terme du cerveau humain. DeepMind a également créé des modèles de réseaux neuronaux pour jouer à des jeux vidéo et à des jeux de société.
En 2020, DeepMind a réalisé des avancées significatives sur le problème du repliement des protéines avec AlphaFold. La base de données de prédictions d'AlphaFold a atteint des records de l'état de l'art sur les tests de référence pour les algorithmes de repliement des protéines, bien que chaque prédiction individuelle nécessite encore d'être confirmée par des tests expérimentaux. AlphaFold3 a été publié en mai 2024, faisant des prédictions structurelles pour l'interaction des protéines avec diverses molécules.
Récemment, Google DeepMind a publié de nouvelles recherches sur la formation des modèles d'IA qui prétendent accélérer considérablement la vitesse de formation et l'efficacité énergétique d'un ordre de grandeur, avec des performances 13 fois supérieures et une efficacité énergétique dix fois plus élevée que les autres méthodes. La nouvelle méthode de formation JEST arrive à point nommé, alors que les conversations sur l'impact environnemental des centres de données d'IA s'intensifient.
Les chercheurs de DeepMind commente la nouvelle méthode en déclarant :
La curation des données est une composante essentielle du pré-entraînement à grande échelle. Dans ce travail, nous démontrons que la sélection conjointe de lots de données est plus efficace pour l'apprentissage que la sélection indépendante d'exemples. Les objectifs contrastifs multimodaux exposent les dépendances entre les données et fournissent donc naturellement des critères pour mesurer la capacité d'apprentissage conjointe d'un lot. Nous dérivons un algorithme simple et pratique pour sélectionner de tels lots, qui accélèrent de manière significative l'apprentissage par rapport aux points de données priorisés individuellement.
Comme les performances s'améliorent en sélectionnant des lots plus importants, nous tirons également parti des avancées récentes en matière d'approximation de modèle pour réduire la charge de calcul associée. En conséquence, notre approche - apprentissage multimodal contrastif avec sélection conjointe d'exemples (JEST) - surpasse les modèles de pointe avec jusqu'à 13 fois moins d'itérations et 10 fois moins de calculs.
La capacité à orienter le processus de sélection des données vers la distribution d'ensembles de données plus petits et bien curés via des modèles de référence pré-entraînés est essentielle à la performance de JEST, exposant le niveau de curation des données comme une nouvelle dimension pour les lois de mise à l'échelle neuronale.
Comme les performances s'améliorent en sélectionnant des lots plus importants, nous tirons également parti des avancées récentes en matière d'approximation de modèle pour réduire la charge de calcul associée. En conséquence, notre approche - apprentissage multimodal contrastif avec sélection conjointe d'exemples (JEST) - surpasse les modèles de pointe avec jusqu'à 13 fois moins d'itérations et 10 fois moins de calculs.
La capacité à orienter le processus de sélection des données vers la distribution d'ensembles de données plus petits et bien curés via des modèles de référence pré-entraînés est essentielle à la performance de JEST, exposant le niveau de curation des données comme une nouvelle dimension pour les lois de mise à l'échelle neuronale.
Gains d'efficacité et de rapidité par rapport aux méthodes traditionnelles d'apprentissage de l'IA
JEST : Accélérer la formation de l'IA par la sélection conjointe d'exemples
La méthode de DeepMind, baptisée JEST ("Joint Example Selection" ou sélection conjointe d'exemples), se distingue des techniques traditionnelles de formation de modèles d'IA de manière simple. Les méthodes de formation habituelles se concentrent sur des points de données individuels pour la formation et l'apprentissage, alors que la méthode JEST se base sur des lots entiers.
La méthode JEST crée d'abord un petit modèle d'IA qui évalue la qualité des données provenant de sources de très haute qualité, en classant les lots en fonction de leur qualité. Il compare ensuite ce classement à un ensemble plus important de données de moindre qualité. Le petit modèle JEST détermine les lots les plus adaptés à la formation, et un grand modèle est ensuite formé à partir des résultats du petit modèle.
Les chercheurs de DeepMind...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.