
Trois anciens scientifiques de Google X ont pour objectif de vous offrir un deuxième cerveau virtuel, non pas dans le sens de la science-fiction ou d'une puce implantée dans votre tête, mais grâce à une application alimentée par l'IA qui acquiert du contexte en écoutant tout ce que vous dites en arrière-plan. Leur start-up, TwinMind, a levé 5,7 millions de dollars de fonds d'amorçage et a lancé une version Android, ainsi qu'un nouveau modèle de reconnaissance vocale basé sur l'IA. Elle dispose également d'une version iPhone.
Co-fondée en mars 2024 par Daniel George (PDG) et ses anciens collègues de Google X Sunny Tang et Mahi Karim (tous deux directeurs techniques), TwinMind fonctionne en arrière-plan, capturant les conversations ambiantes (avec l'autorisation de l'utilisateur) afin de construire un graphe de connaissances personnel.
En transformant les pensées exprimées à voix haute, les réunions, les conférences et les conversations en mémoire structurée, l'application peut générer des notes, des tâches à faire et des réponses alimentées par l'IA. Elle fonctionne hors ligne, traite l'audio en temps réel pour le transcrire sur l'appareil et peut capturer l'audio en continu pendant 16 à 17 heures sans épuiser la batterie de l'appareil, selon ses fondateurs. L'application peut également sauvegarder les données des utilisateurs afin que les conversations puissent être récupérées en cas de perte de l'appareil, mais les utilisateurs peuvent choisir de ne pas activer cette fonction. Elle prend également en charge la traduction en temps réel dans plus de 100 langues.
TwinMind se distingue des autres applications d'IA permettant de prendre des notes de réunion, telles qu'Otter, Granola et Fireflies, en capturant passivement le son en arrière-plan tout au long de la journée. Pour ce faire, l'équipe a développé un service de bas niveau en Swift pur qui fonctionne de manière native sur l'iPhone. En revanche, de nombreux concurrents utilisent React Native et s'appuient sur un traitement basé sur le cloud, qu'Apple empêche de fonctionner en arrière-plan pendant de longues périodes, a déclaré George lors d'une interview exclusive.
« Nous avons passé environ six à sept mois l'année dernière à perfectionner cette capture audio en continu et à trouver de nombreuses astuces pour contourner le jardin clos d'Apple », a-t-il indiqué.
George a quitté Google X en 2020 et a eu l'idée de TwinMind en 2023, alors qu'il travaillait chez JPMorgan en tant que vice-président et responsable de l'IA appliquée, participant chaque jour à des réunions consécutives. Pour gagner du temps, il a créé un script qui capturait l'audio, le transcrirait sur son iPad et l'introduisait dans ChatGPT, qui a commencé à comprendre ses projets et même à générer du code utilisable. Impressionné par les résultats, il l'a partagé avec ses amis et l'a publié sur Blind, où d'autres ont manifesté leur intérêt, mais ne voulaient pas d'un programme fonctionnant sur leur ordinateur portable professionnel. Cela l'a amené à créer une application pouvant fonctionner sur un téléphone personnel, écoutant discrètement pendant les réunions pour recueillir des informations contextuelles utiles.
En plus de l'application mobile, TwinMind propose une extension Chrome qui recueille des informations contextuelles supplémentaires grâce à l'activité du navigateur. Grâce à l'intelligence artificielle visuelle, elle peut scanner visuellement les onglets ouverts et interpréter le contenu de diverses plateformes, notamment les e-mails, Slack et Notion.
TwinMind s'est servie de son extension pour présélectionner des stagiaires
La start-up a même utilisé l'extension elle-même pour présélectionner des stagiaires parmi plus de 850 candidatures reçues cet été. « Nous avons ouvert tous les profils LinkedIn et CV des 854 candidats dans des onglets du navigateur, puis nous avons demandé à l'extension Chrome de classer les meilleurs candidats », explique George. « Elle a fait un travail fantastique. C'est ainsi que nous avons recruté nos quatre stagiaires finaux. »
La situation n'est pas sans rappeler l’argument initial des recruteurs : l’IA devait fluidifier, accélérer, réduire les coûts. La réalité a été inverse. Comme les volumes de candidatures explosent grâce à l’automatisation, les systèmes de tri deviennent plus sévères, multipliant les rejets automatiques. Ce cercle vicieux crée un marché gelé : beaucoup de candidatures déposées, peu de sélections, encore moins d’entretiens. On assiste à une sorte de « Tinderisation » du marché du travail. Les CV sont « swipés » à gauche ou à droite par des algorithmes indifférents. Mais contrairement à une application de rencontre, la probabilité de « matcher » est proche de zéro.
Néanmoins, George a fait remarquer que les chatbots IA actuels, notamment ChatGPT d'OpenAI et Claude d'Anthropic, ne peuvent pas facilement traiter des centaines de documents ou analyser les inscriptions provenant d'outils tels que LinkedIn ou Gmail afin de recueillir des informations contextuelles. De même, les navigateurs alimentés par l'IA, tels que ceux de Perplexity et The Browser Company, ne sont pas capables d'acquérir des connaissances à partir de vos conversations hors ligne et de vos réunions en personne.
Un nombre croissant d'utilisateurs, des données qui ne seraient pas envoyées sur le cloud
La start-up compte actuellement plus de 30 000 utilisateurs, dont environ 15 000 sont actifs chaque mois. Selon George, 20 à 30 % des utilisateurs de TwinMind utilisent également l'extension Chrome.
Si les États-Unis constituent jusqu'à présent la plus grande base d'utilisateurs de TwinMind, la start-up connaît également un succès croissant en Inde, au Brésil, aux Philippines, en Éthiopie, au Kenya et en Europe. TwinMind cible le grand public, même si 50 à 60 % de ses utilisateurs sont actuellement des professionnels, environ 25 % sont des étudiants et les 20 à 25 % restants sont des particuliers qui l'utilisent à des fins personnelles.
George a déclaré que son père faisait partie des personnes qui utilisaient TwinMind pour rédiger leur autobiographie.
L'un des inconvénients majeurs de l'IA est qu'elle peut compromettre la vie privée des utilisateurs. Mais George a affirmé que TwinMind n'entraîne pas ses modèles à partir des données des utilisateurs et est conçu pour fonctionner sans envoyer d'enregistrements vers le cloud. Contrairement à de nombreuses autres applications de prise de notes basées sur l'IA, TwinMind ne permet pas aux utilisateurs d'accéder ultérieurement aux enregistrements audio, ceux-ci étant supprimés à la volée, tandis que seul le texte transcrit est stocké localement dans l'application, a-t-il précisé.
Modèle TwinMind Ear-3
En plus de ses applications et de son extension de navigateur, TwinMind a également lancé le modèle TwinMind Ear-3, successeur de son modèle Ear-2 existant, qui prend en charge plus de 140 langues dans le monde et affiche un taux d'erreur de 5,26 %, selon la start-up. Le nouveau modèle est également capable de reconnaître différents locuteurs dans une conversation et affiche un taux d'erreur de diarisation des locuteurs de 3,8 %. La diarisation le processus de segmentation automatique d'un flux audio ou vidéo pour identifier et étiqueter les segments de parole en fonction de l'identité du locuteur, répondant ainsi à la question « Qui a parlé quand ? ».
Le nouveau modèle d'IA est un mélange finement ajusté de plusieurs modèles open source, entraînés sur un ensemble sélectionné de données Internet annotées par des humains, notamment des podcasts, des vidéos et des films.
« Nous avons constaté que plus le nombre de langues prises en charge est élevé, plus le modèle comprend mieux les accents et les dialectes régionaux, car il s'entraîne sur un éventail plus large de locuteurs », a déclaré George.
Le modèle coûte 0,23 $/heure et sera disponible via une API pour les développeurs et les entreprises au cours des prochaines semaines.
Depuis l’explosion des outils d’IA générative, beaucoup craignent déjà une perte progressive de certaines compétences, comme l’écriture ou la recherche d’information. Avec un « second cerveau », le risque franchit un cap. Externaliser notre mémoire, nos associations d’idées et même notre créativité à une machine pourrait, à terme, affaiblir nos capacités cognitives naturelles.
Sommes-nous prêts à déléguer à une IA le soin de se souvenir pour nous ? La question n’est pas seulement technique, elle est profondément philosophique. Car ce qui fait de nous des êtres humains, c’est justement cette faculté d’oublier, de trier, de sélectionner nos souvenirs. Un « second cerveau » pourrait bouleverser cet équilibre fragile.
Un autre problème majeur se profile : celui de la vie privée. Pour fonctionner, un « second cerveau » doit avoir accès à nos mails, nos notes, nos conversations, nos lectures, nos agendas… bref, l’intégralité de notre vie numérique. Autant dire que nous ouvririons une fenêtre béante sur nos pensées les plus intimes.
Les fondateurs assurent vouloir bâtir une IA sécurisée, mais l’histoire récente de la cybersécurité nous rappelle que toute base de données est une cible potentielle. Un piratage de ce type d’outil aurait des conséquences incalculables : ce ne serait plus seulement des mots de passe ou des coordonnées bancaires qui seraient dérobés, mais la mémoire profonde d’individus.
Derrière l’innovation, une nouvelle forme de contrôle ?
Difficile de ne pas voir derrière cette promesse une nouvelle étape dans la marchandisation de nos vies. Si demain un “second cerveau” devient indispensable pour travailler, se souvenir, penser, qui détiendra réellement le pouvoir ? L’utilisateur ou la startup qui gère l’infrastructure ? La dépendance à une telle IA pourrait transformer l’individu en simple utilisateur captif, prisonnier d’un outil qui façonne peu à peu sa manière de réfléchir.
On peut y voir le prolongement de ce que les réseaux sociaux ont déjà enclenché : une capture de l’attention et des comportements. Mais cette fois, ce n’est plus l’attention qui est en jeu, c’est la pensée elle-même.
Du côté de la concurrence
Rewind AI : enregistrer toute une vie numérique
L’une des initiatives les plus commentées est Rewind AI, qui propose littéralement d’enregistrer en continu tout ce qui se passe sur votre ordinateur et votre téléphone. Chaque mail, chaque réunion Zoom, chaque recherche Google est capté, indexé et restituable à la demande. La promesse : ne plus jamais rien oublier. Mais le revers est évident : la quantité de données intimes collectées est vertigineuse et soulève des inquiétudes massives en termes de vie privée.
Notion AI et Mem : la mémoire au service de la productivité
D’autres acteurs...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.