Apple lance OpenELM : de petits modèles d'IA open source conçus pour fonctionner directement sur l'appareil et effectuer efficacement des tâches de génération de texte

Alors que Google, Samsung et Microsoft poursuivent leurs efforts en matière d'IA générative sur les PC et les appareils mobiles, Apple se joint à la fête avec OpenELM, une nouvelle famille de grands modèles de langage (LLM) open source qui peuvent fonctionner entièrement sur un seul appareil plutôt que de devoir se connecter à des serveurs sur le cloud. Publié sur le site de la communauté de code d'IA Hugging Face, OpenELM se compose de petits modèles conçus pour effectuer efficacement des tâches de génération de texte. Ces modèles sont entraînés sur des ensembles de données accessibles au public à l'aide de la bibliothèque CoreNet. Les données d'entraînement comprennent une variété de sources, totalisant environ 1,8 billion (1 billion étant 1 000 milliards) de jetons.

Le moins que l'on puisse dire, c'est que l'avancée d'Apple en matière d'IA a été lente, surtout si on la compare aux développements rapides qui ont lieu chez ses concurrents, à savoir Microsoft et Google. Alors que Samsung, Google et même Nothing proposent une pléthore de fonctions d'IA sur leurs appareils respectifs, les iPhones sont restés à l'écart, Apple devant rattraper son retard dans la course à l'IA. Toutefois, Apple s'efforce activement de progresser et a récemment discuté avec des sociétés comme Google et OpenAI d'un éventuel accord qui permettrait d'utiliser leurs modèles d'IA sur les iPhones, mais cet accord est encore en cours d'élaboration.


Apple publie quatre modèles d'IA en code source libre

Il y a huit modèles OpenELM au total - quatre pré-entraînés et quatre adaptés aux instructions - couvrant différentes tailles de paramètres entre 270 millions et 3 milliards de paramètres (se référant aux connexions entre les neurones artificiels dans un LLM, et plus de paramètres dénotent généralement une plus grande performance et plus de capacités, bien que ce ne soit pas toujours le cas).

Si le préapprentissage permet à un LLM de produire un texte cohérent et potentiellement utile, il s'agit principalement d'un exercice prédictif, tandis que le réglage des instructions permet d'obtenir des résultats plus pertinents en réponse à des demandes spécifiques d'un utilisateur. Le préapprentissage peut avoir pour conséquence qu'un modèle essaie simplement de compléter l'invite avec du texte supplémentaire, par exemple en répondant à l'invite de l'utilisateur « apprenez-moi à faire du pain » avec le texte « dans un four domestique » plutôt qu'avec de véritables instructions étape par étape, ce qui serait plus facile à réaliser grâce au réglage des instructions.

Selon l'article publié sur HuggingFace, la famille de modèles d'IA est connue sous le nom de « Open-source Efficient Language Models » ou OpenELM. Ces modèles ont été conçus pour effectuer efficacement de petites tâches, telles que la rédaction d'e-mails. Apple indique qu'OpenELM a été entraîné sur des ensembles de données accessibles au public à l'aide de la bibliothèque CoreNet, qui comprend RefinedWeb, PILE dédupliqué, un sous-ensemble de RedPajama et un sous-ensemble de Dolma v1.6, soit un total d'environ 1,8 trillion (1 billion étant 1 000 milliards) de tokens. Il a été publié avec quatre paramètres : 70 millions, 450 millions, 1,1 milliard et 3 milliards.

Les paramètres, qui sont des mesures cruciales dans les modèles d'IA, déterminent l'étendue des variables dont le modèle peut tirer des enseignements au cours des processus de prise de décision. La publication d'OpenELM par Apple vise à contribuer à la communauté de la recherche ouverte en donnant accès à des modèles de langage de pointe et en encourageant l'innovation et la collaboration dans la recherche sur l'IA. L'incursion d'Apple dans l'IA ne se limite pas à la publication d'OpenELM. L'entreprise explore activement les applications de l'IA, comme en témoigne le développement de frameworks tels que MLX pour optimiser les performances de l'IA sur les appareils alimentés au silicium d'Apple.

Ce qu'il faut retenir des caractéristiques d’OpenELM :
[LIST][*]Différentes tailles de paramètres : la famille OpenELM comprend huit modèles au total, répartis en quatre pré-entraînés et quatre ajustés aux instructions. Ils couvrent différentes tailles de paramètres, allant de 270 millions à 3 milliards de paramètres. Plus de paramètres ne signifient pas toujours de meilleures performances, mais dans ce cas, OpenELM parvient à offrir une précision accrue....