Apple acquiert Datakalab, une start-up française spécialisée dans l'IA embarquée à faible consommation,

Préparant l'intégration d'une série de fonctions d'IA à iOS 18 qui tourneront directement sur l'appareil

Dans un mouvement stratégique visant à renforcer ses capacités en intelligence artificielle (IA) et en vision par ordinateur, Apple a récemment acquis Datakalab, une start-up basée à Paris. Fondée par Xavier et Lucas Fischer en 2016, Datakalab s’est distinguée par son expertise dans la compression d’algorithmes et les systèmes d’IA embarqués. Avant son acquisition, Datakalab comptait entre 10 et 20 employés et avait collaboré avec le gouvernement français et Disney, entre autres. La technologie développée par la start-up permet d’analyser les émotions humaines par reconnaissance faciale et données visuelles, utilisées notamment pour surveiller les réactions du public en temps réel lors de projections cinématographiques.

Les LLM sont des systèmes d’intelligence artificielle capables de comprendre et de générer du langage naturel à partir de grandes quantités de données textuelles. Des exemples de LLM sont GPT-3 et GPT-4 d’OpenAI, qui peuvent produire des textes cohérents et variés sur n’importe quel sujet, allant des articles de presse aux poèmes en passant par les codes informatiques. Ces modèles sont très puissants, mais aussi très gourmands en mémoire et en ressources de calcul, ce qui pose un défi pour les déployer sur des appareils mobiles comme les iPhone, qui ont une capacité de mémoire limitée.

Pour relever ce défi, les chercheurs d’Apple ont développé une technique innovante qui utilise la mémoire flash - la même mémoire où sont stockées vos applications et vos photos - pour stocker les données du modèle de langage. Cette technique permet de réduire le transfert de données entre la mémoire flash et la mémoire vive (RAM), et d’augmenter le débit de la mémoire flash, ce qui accélère le processus d’inférence du modèle de langage. C'est en tout cas ce qu'a suggéré une étude publiée en décembre.

L'article de recherche est intitulé "LLM in a flash : Efficient Large Language Model Inference with Limited Memory". Les auteurs y notent que la mémoire flash est plus abondante dans les appareils mobiles que la mémoire vive traditionnellement utilisée pour l'exécution des modèles. Ainsi, leur méthode contourne astucieusement cette limitation en utilisant deux techniques clés qui minimisent le transfert de données et maximisent le débit de la mémoire flash :

• le fenêtrage : il s'agit d'une méthode de recyclage. Au lieu de charger de nouvelles données chaque fois, le modèle d'IA réutilise une partie des données qu'il a déjà traitées. Cela réduit la nécessité d'aller constamment chercher des données en mémoire, ce qui rend le processus plus rapide et plus fluide ;
• regroupement lignes-colonnes : cette technique revient à lire un livre par morceaux plutôt qu'un mot à la fois. En regroupant les données plus efficacement, elles peuvent être lues plus rapidement à partir de la mémoire flash, ce qui accélère la capacité de l'IA à comprendre et à générer du langage.

Datakalab s'est spécialisé dans les algorithmes qui fonctionnent entièrement sur l'appareil

Apple adopterait donc une approche différente de l'IA générative. Alors que les fonctions d'IA générative sur les appareils sont actuellement soutenues par de grands modèles de langage côté serveur, Apple souhaite exécuter les LLM sur les appareils. Cela l'aidera à garantir la confidentialité des utilisateurs, puisque les données de ces derniers n'ont pas besoin de quitter les iPhone pour atteindre des serveurs, qui peuvent être partagés.

Toutefois, les modèles sur appareil ne peuvent pas tout faire. Apple doit développer un modèle suffisamment performant tout en étant économe en énergie. Mais cela prendra du temps. Et c'est exactement là que l'acquisition de la startup française Datakalab devient pertinente puisqu'elle le propose depuis 2017.

Datakalab s'est spécialisée dans les algorithmes d'apprentissage profond à faible consommation d'énergie, efficaces en termes d'exécution, respectueux de la vie privée et fonctionnant entièrement sur l'appareil (en embarqué donc). Ses travaux de recherche ont donné lieu à des publications dans les meilleures conférences et journaux du domaine (T-PAMI, NeurIPS, ICCV, CVPR, AAAI).

Au départ, Datakalab a d’abord exploré l'usage de l'IA pour lire les émotions du visage humain. La RATP, la ville de Cannes ou encore des salles de concert ont utilisé cette technologie : il était question ces fois-là de déployer ses outils d'IA afin de vérifier si les gens portaient des masques de protection lors de la pandémie. La startup a signé avec Médiamétrie pour mesurer les émotions des spectateurs au cinéma, ainsi qu'avec Disney pour l'aider à améliorer ses bandes-annonces.

Et les choses se sont plutôt bien passées. Médiamétrie par exemple évoquait des résultats concluants :

Marine Boulanger, directrice du pôle Cinéma et Entertainment de Médiamétrie a déclaré : « Ces données émotionnelles viennent appuyer et détailler les données des spectateurs que nous recueillons dans nos études, pour apporter une réponse encore plus concrète sur l’attractivité et le potentiel d’un film, ou l’efficacité d’une bande-annonce. »


Un rachat qui a eu lieu en décembre

Cette entreprise a été fondée en 2016 par deux frères, Xavier et Lucas Fischer. Selon la Commission européenne, l'accord a été signé en décembre de l'année dernière. La nouvelle n'a été révélée que maintenant via nos confrères Challenges. L'entreprise ne compterait que 10 à 20 employés et plusieurs d'entre eux ont également rejoint la nouvelle équipe d'Apple en Californie. En revanche, les deux fondateurs, Xavier et Lucas Fischer, n'auraient pas rejoint Apple.

D'après les informations glanées sur le site web de Datakalab, aujourd'hui disparu, l'activité principale de l'entreprise tournait autour du développement d'algorithmes sophistiqués d'analyse d'images par ordinateur, conçus pour mesurer les flux dans les espaces publics. Grâce à la transformation rapide des images en données statistiques anonymes traitées localement en l'espace de 100 millisecondes, Datakalab a adhéré fermement aux principes de la protection de la vie privée, en veillant à ce que seules les données statistiques soient conservées et en évitant tout stockage d'images ou d'informations personnelles.

L'ambition d'Apple de faire fonctionner des modèles d'IA sur les iPhone a déjà suscité des critiques

Plusieurs analystes estiment qu'Apple est à la traîne par rapport à ses rivaux, bien qu'il ait embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que Microsoft et Google se sont largement concentrés sur la fourniture de chatbots et d'autres services d'IA générative sur Internet à partir de leurs vastes plateformes de cloud, les recherches d'Apple suggèrent qu'elle se concentrera plutôt sur une IA qui peut fonctionner directement sur un iPhone. Une initiative qui peut faire une grande différence. Certains rivaux d'Apple, tels que Samsung, se prépareraient à lancer un nouveau type de smartphone IA cette année.

Counterpoint Research s'attend à ce que plus de 100 millions de smartphones axés sur l'IA soient livrés en 2024, et que 40 % des nouveaux appareils offrent de telles capacités d'ici à 2027. De son côté, Cristiano Amon, PDG de Qualcomm, le plus grand fabricant de puces mobiles au monde, note que l'introduction de l'IA dans les smartphones créerait de nouvelles expériences pour les consommateurs et inverserait la tendance baissière des ventes de téléphones portables. « Vous verrez des appareils lancés au début de 2024 avec un certain nombre de cas d'utilisation de l'IA générative », a déclaré Amon lors d'une récente interview.

Quoiqu'il en soit, l'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhone est confrontée à des limites matérielles évidentes. Les capacités de calcul et de mémoire des smartphones sont notoirement restreintes par rapport aux serveurs sur le cloud. Certains estimaient alors que cette démarche risque de sacrifier la performance globale des iPhone au profit de fonctionnalités d'IA locales, compromettant ainsi l'expérience utilisateur.

D'ailleurs, les critiques n'ont pas manqué d'indiquer qu'Apple dépend trop des acquisitions pour stimuler l'innovation. Plutôt que de développer en interne, la société a tendance à acquérir des startups technologiques, soulevant des questions sur sa capacité à innover de manière autonome. Il faut dire qu'en janvier 2024 la société californienne avait déjà fait l'acquisition de 21 startups spécialisées dans l'IA depuis 2017, mettant l'accent sur la résolution des défis technologiques liés à l'utilisation de l'IA sur les appareils mobiles, notamment les iPhone.

Conclusion

Cette acquisition intervient alors qu'Apple devrait intégrer une série de fonctions d'intelligence artificielle à iOS 18 dans le courant de l'année. Datakalab a également développé une technologie avancée basée sur la vision, qui pourrait jouer un rôle dans les ambitions Vision Pro d'Apple à l'avenir. La technologie de reconnaissance faciale avancée de l'entreprise pourrait également contribuer à des éléments tels que Photos et Face ID.

Sources : Challenges, Médiamétrie

Et vous ?

Quel impact pensez-vous que l’acquisition de Datakalab aura sur la confidentialité des utilisateurs d’Apple, étant donné l’expertise de la start-up dans l’analyse des émotions par reconnaissance faciale ?
Comment Apple pourrait-il intégrer la technologie de vision par ordinateur de Datakalab dans ses produits existants pour améliorer l’expérience utilisateur ?
La stratégie d’Apple de fonctionner entièrement sur l’appareil avec son LLM est-elle, selon vous, une réponse suffisante aux préoccupations concernant la sécurité des données par rapport aux services basés sur le cloud ?
En quoi la compression des algorithmes d’IA pourrait-elle changer la manière dont nous utilisons nos appareils mobiles au quotidien ?
Quelles innovations espérez-vous voir émerger d’Apple suite à cette acquisition, notamment en termes d’IA et de vision par ordinateur ?