Selon une note de recherche récente de Morgan Stanley, près de la moitié des offres d'emploi d'Apple dans le domaine de l'intelligence artificielle (IA) comprennent désormais le terme Deep Learning, qui se rapporte aux algorithmes alimentant les modèles d'IA générative qui peuvent produire du texte, de l'audio et du code semblables à ceux d'un humain en quelques secondes. L'entreprise a embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que le monde se concentre sur la course à l'armement en matière d'IA, alimentée par des mastodontes basés sur le cloud comme ChatGPT et PaLM, Apple pourrait être en train de préparer une révolution plus silencieuse pour ses produits. De récentes recherches menées par ses experts laissent entrevoir un changement potentiel : un puissant modèle de langage (LLM) qui ne fonctionne pas dans un centre de données éthéré, mais directement sur les iPhone ou iPad. Apple renforce ses capacités en intelligence artificielle de manière discrète, en effectuant des acquisitions, des embauches et des mises à jour matérielles. La société californienne a acquis 21 startups spécialisées dans l'IA depuis 2017, mettant l'accent sur la résolution des défis technologiques liés à l'utilisation de l'IA sur les appareils mobiles, notamment les iPhones. Apple semble se concentrer sur l'exploitation de l'IA générative directement sur ses appareils, permettant aux chatbots et aux applications d'IA de fonctionner localement plutôt que d'être alimentés par des services en nuage. Pour atteindre cet objectif, la société travaille sur la réduction de la taille des grands modèles de langage alimentant l'IA et sur le développement de processeurs plus performants.
Morgan Stanley considère les services comme l'un des bénéficiaires potentiels de la production par Apple d'un iPhone doté de l'IA. « Nous pensons que les mises à jour logicielles Gen-AI d'Apple peuvent également accélérer les dépenses de services par utilisateur, qui s'élèvent à seulement 8 dollars par mois aujourd'hui, grâce à de nouveaux paiements de coûts d'acquisition de trafic, à une meilleure attache des services, à l'accélération des achats sur l'App Store et à un éventuel abonnement premium à Siri ». Mais ce sont les ventes de matériel qui, selon Morgan Stanley, seront les plus améliorées par le passage à l'IA.
« Depuis le lancement de l'iPhone 12 5G en octobre 2020, nous estimons que les cycles de remplacement de l'iPhone se sont allongés de près de 12 mois, pour atteindre un record de 4,5 ans, indique Morgan Stanley, un produit de la courbe d'innovation qui se stabilise, de la meilleure qualité des appareils et des vents contraires aux dépenses en biens de consommation. »
Les grands modèles de langage jouent un rôle central dans le traitement moderne du langage naturel, excelling dans diverses tâches. Toutefois, en raison de leurs importantes exigences en calcul et en mémoire, ils posent des défis, surtout pour les appareils dotés d'une capacité de mémoire vive limitée. L’approche vise à créer un modèle de coût d'inférence qui prend en considération les caractéristiques de la mémoire flash, guidant ainsi l'optimisation dans deux domaines critiques : la réduction du volume de données transférées depuis la mémoire flash et la lecture de données en morceaux plus grands et contigus.
La prochaine Worldwide Developers Conference d'Apple pourrait révéler des avancées majeures dans ce domaine, avec des spéculations sur l'intégration de l'IA générative dans iOS 18. Apple a également embauché des experts en IA, dont John Giannandrea de Google, et a dévoilé de nouvelles puces orientées vers l'IA, renforçant ainsi sa position dans la course à l'armement en matière d'IA parmi les grandes entreprises technologiques. Bien que d'autres fabricants aient déjà lancé des appareils avec des fonctionnalités d'IA générative, Apple semble se concentrer sur l'innovation responsable et sur la création de solutions intégrées dans son écosystème. Les analystes estiment que les futures mises à niveau des iPhones seront stimulées par des fonctionnalités d'IA générative, renforçant ainsi la position d'Apple sur le marché.
Intégration et amélioration de l'IA dans l'écosystème Apple
Apple a jeté les bases d'un solide cadre d'IA dans son écosystème. Les applications actuelles de l'entreprise en matière d'IA et d'apprentissage automatique comprennent l'amélioration des capacités des appareils photo, des fonctions de recherche et de l'expérience utilisateur grâce à des suggestions intelligentes. Avec des moteurs neuronaux dédiés, les appareils Apple sont bien équipés pour le traitement de l'IA sur l'appareil. L'entreprise prévoit de lancer des fonctionnalités d'IA générative vers la fin de l'année 2024, en mettant l'accent sur un mélange de traitement de l'IA basé sur le cloud et sur l'appareil.
Les implémentations existantes de l'IA et de l'apprentissage automatique d'Apple couvrent un large éventail de fonctions, des améliorations de l'appareil photo aux fonctions de recherche intuitives à l'échelle du système. Ses appareils sont équipés de moteurs neuronaux, ce qui souligne l'engagement d'Apple en faveur du traitement de l'IA sur l'appareil. L'introduction de fonctions d'IA générative, attendue pour fin 2024, représente un bond en avant significatif, combinant l'IA basée sur le cloud et l'IA sur l'appareil pour créer des systèmes plus puissants et plus efficaces.
Les chercheurs d'Apple ont publié une étude stimulante intitulée "LLM in a Flash", qui remet en question le discours dominant sur les LLM basés sur le cloud. Leur principale idée est de reconnaître le potentiel inexploité du stockage flash, abondamment présent dans les appareils mobiles, en tant qu'alternative viable à la mémoire vive (RAM), le cheval de bataille traditionnel des LLM. Ce changement ouvre la voie à des solutions innovantes qui permettent de surmonter les contraintes de ressources des appareils mobiles.
Au cours des dernières années, les grands modèles de langage (LLM) tels que GPT-3 ont démontré des performances exceptionnelles dans diverses tâches liées au langage naturel. Cependant, malgré leurs capacités sans précédent, ces modèles imposent des exigences significatives en termes de puissance de calcul et de mémoire lors de l'inférence. Les LLM peuvent comporter des centaines de milliards, voire des milliards de paramètres, les rendant difficiles à interpréter et à analyser efficacement, surtout sur des dispositifs aux ressources limitées.
Actuellement, la méthode conventionnelle implique le chargement du modèle de référence dans la mémoire RAM (mémoire dynamique à accès aléatoire) pour l'inférence. Cependant, cette approche restreint considérablement la taille maximale du modèle pouvant être utilisé. Par exemple, un modèle de 7 milliards de paramètres nécessite plus de 14 Go de mémoire uniquement pour lire les paramètres en format de demi-précision à virgule flottante, dépassant ainsi les capacités de la plupart des appareils à écran plat.
Pour remédier à cette limitation, Apple propose de stocker les paramètres du modèle dans la mémoire flash, qui est au moins un ordre de grandeur plus grande que la mémoire RAM. Pendant l'inférence, les ingénieurs changent directement le sous-ensemble de paramètres requis depuis la mémoire flash, évitant ainsi la nécessité de placer l'intégralité du modèle dans la DRAM. La méthode s'appuie sur des recherches récentes démontrant que les MLL présentent une forte parité dans les couches du réseau d'alimentation en amont (FFN).
- La mémoire flash offre une capacité nettement plus élevée, mais souffre d'une largeur de bande nettement inférieure à celle de la mémoire RAM, des caches et des registres de l'unité centrale ou du processeur graphique ;
- Le débit des lectures aléatoires en mémoire flash augmente avec la taille des morceaux séquentiels et le nombre de threads.
Pour libérer ce potentiel, l'étude propose deux techniques ingénieuses :
- Le fenêtrage : cette méthode permet au LLM de réutiliser des données précédemment traitées au lieu de rechercher de nouvelles informations à chaque étape. C'est un peu comme revisiter les pages clés d'un manuel au lieu de relire l'ensemble du volume pour chaque nouvelle question.
- Regroupement lignes-colonnes : cette technique réorganise les données en vue d'un traitement plus efficace, un peu comme si l'on réorganisait les livres de bibliothèque par catégorie pour en faciliter l'accès et la compréhension.
L'effet combiné de ces techniques n'est pas seulement théorique. Les chercheurs font état d'une accélération potentielle de 4 à 5 fois du traitement par le CPU mobile et d'une augmentation stupéfiante de 20 à 25 fois pour le GPU lors de l'exécution des LLM. Cela se traduit par un saut tangible dans les capacités d'IA sur l'appareil, ouvrant la voie à des possibilités jusqu'alors inimaginables.
Latence d'inférence d'un jeton lorsque la moitié de la mémoire du modèle est disponible. La méthode charge sélectivement les paramètres à la demande par étape de génération de jetons. Le temps de latence est le temps nécessaire pour charger à partir de la mémoire flash plusieurs fois dans les deux sens pendant la génération de tous les jetons et le temps nécessaire pour les calculs, en moyenne sur tous les jetons générés.
Apple utilise l'apprentissage automatique pour apprendre à ses produits à mieux comprendre le monde, comme le font les humains. L'apprentissage automatique peut aider les produits Apple à être suffisamment intelligents et intuitifs pour améliorer le quotidien des personnes handicapées. Les ingénieurs Apple peuvent créer des fonctions d'apprentissage automatique qui prennent en charge un large éventail d'utilisateurs, notamment les personnes aveugles ou malvoyantes, les personnes sourdes ou malentendantes, les personnes souffrant de limitations physiques motrices et les personnes souffrant de handicaps cognitifs. Les appareils mobiles et leurs applications sont devenus omniprésents. Or, pour les quelque 15 % de la population mondiale souffrant d'un handicap, de nombreuses fonctionnalités et de nombreux services offerts par les applications restent inaccessibles.
Pour être utiles aux utilisateurs, les fonctions d'accessibilité des plateformes mobiles exigent que les applications fournissent des informations complètes et précises décrivant les composants de l'interface utilisateur (IU). Or, de nombreuses applications ne fournissent pas suffisamment de descriptions pour que les fonctions d'accessibilité fonctionnent comme prévu. Lorsque les développeurs ne fournissent pas d'informations précises sur les différents éléments de l'interface utilisateur, certaines parties de l'application ne sont pas accessibles. Ainsi, VoiceOver ne peut pas lire un paragraphe, ou Switch Control ne peut pas activer un bouton. Dans certains cas, une application entière n'est pas accessible aux utilisateurs handicapés.
Apple a mené une étude sur l'inférence de l'accessibilité des applications mobiles à partir de leurs pixels à l'écran. « Nous avons entraîné un modèle robuste, rapide, efficace en termes de mémoire et installé sur l'appareil pour détecter les éléments de l'interface utilisateur à l'aide d'un ensemble de données d'écrans d'applications iPhone collectées et annotées manuellement.
Pour améliorer encore la détection des interfaces utilisateur et ajouter des informations sémantiques, nous avons introduit des heuristiques et des modèles supplémentaires. Par exemple, nous avons regroupé les éléments d'interface utilisateur pertinents afin de réduire le temps de navigation pour les utilisateurs de lecteurs d'écran, et nous avons déterminé si un élément d'interface utilisateur était cliquable », Apple. C'est à partir de cette étude que les chercheurs Apple ont développé la fonction de reconnaissance d'écran, qu’ils ont mise à la disposition du public dans l'iOS 14. La reconnaissance d'écran utilise l'apprentissage automatique et la vision par ordinateur pour détecter et fournir automatiquement du contenu.
Au-delà d'Apple : implications pour l'avenir de l'IA
La décision du géant technologique intervient alors que l'intégration de l'IA devient de plus en plus courante dans l'industrie technologique, avec des entreprises comme Google, Microsoft et Amazon qui intègrent l'IA générative dans leurs produits. En cherchant à faire fonctionner des modèles d'IA sur des appareils tels que les iPhones, Apple se positionne comme un acteur majeur dans la course à l'IA.
Les avancées d'Apple en matière d'IA la placent à l'avant-garde d'une évolution mondiale vers l'intégration de l'IA dans les technologies courantes. D'autres géants de la technologie, dont Google, Microsoft et Amazon, sont également actifs dans ce domaine, faisant de l'IA un champ de bataille clé pour l'innovation et la domination du marché.
L'incursion d'Apple dans les LLM sur appareil a des implications considérables pour l'avenir de l'IA. Elle montre que des appareils aux ressources limitées peuvent héberger une intelligence puissante, remettant en cause le modèle établi de domination de l'IA centrée sur les nuages. Cela pourrait inciter d'autres géants de la technologie à explorer des solutions similaires sur les appareils, ce qui conduirait à un paysage de l'IA plus diversifié et distribué.
En outre, l'engagement d'Apple en faveur de la protection de la vie privée grâce au traitement sur l'appareil pourrait établir une nouvelle norme pour le développement responsable de l'IA. Alors que les inquiétudes concernant la sécurité des données et les biais algorithmiques augmentent, l'approche d'Apple offre une alternative convaincante, qui pourrait influencer la façon dont nous concevons et déployons l'IA dans les années à venir.
L'intégration de l'IA dans les appareils Apple devrait redéfinir l'interaction avec l'utilisateur, en offrant des assistants virtuels plus intelligents, des fonctionnalités adaptatives et des fonctions uniques pilotées par l'IA qui seront probablement exclusives à la gamme de produits Apple. Le fait qu'Apple se lance dans l'exécution de modèles d'IA directement sur les iPhones et d'autres appareils marque une évolution majeure vers des écosystèmes technologiques plus intelligents et plus autonomes. En exploitant les capacités avancées de l'IA, Apple s'apprête à redéfinir l'expérience utilisateur et à renforcer sa position sur le marché concurrentiel de la technologie.
L'ambition d'Apple de faire fonctionner des modèles d'IA sur les iPhones suscite des critiques, associées à ses prix élevés et à des accusations de pratiques monopolistiques
L'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones est critiquée pour ses limites matérielles évidentes, pouvant compromettre l'expérience utilisateur. Intégrer des modèles d'IA sur des appareils mobiles avec des capacités de stockage limitées soulève des préoccupations d'espace pour les utilisateurs.
Apple est souvent critiqué pour ses prix élevés, tant pour ses produits que pour ses services. Son approche tarifaire peut exclure certains consommateurs et donner l'impression que la société privilégie la rentabilité au détriment de l'accessibilité. La marque à la pomme a également été accusé de favoriser des pratiques monopolistiques en limitant le choix des consommateurs et en décourageant la concurrence.
Apple est également critiqué pour ses politiques de réparation restrictives, notamment l'opposition aux réparations effectuées par des tiers et la conception des produits rendant difficile l'auto-réparation. Cela entraîne des coûts élevés pour les utilisateurs et génère des déchets électroniques.
Certains critiques estiment qu'Apple dépend trop des acquisitions pour stimuler l'innovation. Plutôt que de développer en interne, la société a tendance à acquérir des startups technologiques, soulevant des questions sur sa capacité à innover de manière autonome. Bien que des progrès aient été réalisés, Apple a encore des défis en matière d'impact environnemental, notamment en ce qui concerne l'extraction de minéraux pour la fabrication des appareils et la gestion des déchets électroniques. Des critiques estiment que la durabilité devrait être une priorité plus élevée.
L'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones est confrontée à des limites matérielles évidentes. Les capacités de calcul et de mémoire des smartphones sont notoirement restreintes par rapport aux serveurs en nuage. Cette démarche risque de sacrifier la performance globale des iPhones au profit de fonctionnalités d'IA locales, compromettant ainsi l'expérience utilisateur.
Les modèles d'IA, en particulier ceux nécessaires pour des tâches avancées, sont volumineux. L'idée d'intégrer ces modèles sur des appareils mobiles avec des capacités de stockage limitées soulève des préoccupations sérieuses. Les utilisateurs pourraient être confrontés à des problèmes d'espace, ce qui pourrait rendre cette fonctionnalité peu pratique pour un grand nombre d'utilisateurs.
La gestion des mises à jour de modèles d'IA sur les iPhones pourrait s'avérer un défi majeur. Les utilisateurs devraient télécharger des mises à jour fréquentes, potentiellement volumineuses, ce qui pourrait entraîner des complications en termes de gestion de la compatibilité et de l'expérience utilisateur. Cette complexité pourrait décourager les utilisateurs moins techniques.
L'exécution d'algorithmes d'IA complexes directement sur les iPhones pourrait avoir des conséquences néfastes sur la durée de vie de la batterie. Les tâches d'IA intensives peuvent drainer la batterie plus rapidement, compromettant ainsi la principale exigence des utilisateurs : une autonomie prolongée. Apple semble adopter une approche en concurrence directe avec les services en nuage qui offrent une puissance de calcul extensible. Cette décision apparaît comme un choix stratégique malavisé, car elle va à l'encontre de la tendance actuelle qui privilégie l'accès à la puissance de calcul sans contraintes matérielles via le cloud.
Bien qu'Apple soit largement admiré pour son design innovant et ses performances technologiques, ces critiques soulignent des domaines où l'entreprise pourrait améliorer ses pratiques pour répondre aux attentes changeantes des consommateurs et des défis sociétaux. L'exécution d'algorithmes d'IA complexes directement sur les iPhones pourrait affecter la durée de vie de la batterie, compromettant l'autonomie des utilisateurs. Apple semble aller à l'encontre de la tendance en concurrençant les services cloud, suscitant des critiques quant à la sagesse de ce choix stratégique.
Source : Apple
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la décision d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones plutôt que d'utiliser des services cloud, qui offrent une puissance de calcul extensible ? Quels sont les avantages potentiels et les inconvénients de l'approche d'Apple par rapport à d'autres solutions sur le marché qui optent pour le traitement en cloud pour les tâches d'IA ?Voir aussi :
Apple dépenserait "des millions de dollars par jour" pour l'IA, Apple a pris le train de l'IA comme tout le monde, selon le rapport de The Information Apple testerait en interne un modèle de langage appelé "Apple GPT" et développerait des outils d'IA générative pour concurrencer OpenAI, ces outils pourraient servir à renforcer Siri à l'avenir Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud, selon une étude