Disponible en bêta publique sur Windows et Mac, l’application vise à rendre l'apprentissage automatique plus facile pour les gens et les aide à former des modèles sans avoir à écrire de lignes de code. Elle se limite pour le moment à une discipline : la classification d’images. C’est-à-dire l’attribution d’étiquettes (ou labels) en fonction du contenu. La détection d’objets et la classification de données en tableaux sont sur la feuille de route.
Lobe vous permet de créer des jeux de données à partir de photos ou d’images. Ainsi vous pouvez importer une série de photos et les classifier manuellement. Ensuite, Lobe compile les résultats et génère un modèle que vous pouvez exporter au format CoreML, TensorFlow ou via une API locale qui reconnaîtra ce pourquoi vous l’avez entraîné.
Lobe détoure automatiquement les images et en crée des variations sur différents paramètres : luminosité, contraste, saturation, rotation, niveau de zoom, etc. C’est ensuite à l’utilisateur d’y associer des labels.
Microsoft conseille d’utiliser, pour entraîner les modèles les plus simples, entre 100 et 1 000 images. Et recommande de bien équilibrer les exemples entre les labels, pour éviter tout biais. Tout en précisant que Lobe ne prend pas en charge l’annulation des tâches : il est donc important de faire une copie de votre projet avant toute modification importante.
Lobe requiert au minimum un CPU Core i3 avec SSE2 et AVX. L’entraînement sur GPU n’est pas encore disponible.
L’illustration
Pour mieux souligner l’utilité d’un tel service, Microsoft s’est laissé aller à parler de Sean Cusack, apiculteur depuis 10 ans et bricoleur depuis plus longtemps. Sean Cusak et son ami entomologiste ont discuté de la création d'un système d'alerte précoce pour alerter les propriétaires de ruches sur des menaces potentiellement catastrophiques.
Ils ont envisagé d'installer une caméra activée par un capteur de mouvement à l'entrée d'une ruche et d'utiliser l'apprentissage automatique pour identifier à distance quand des envahisseurs tels que des acariens ou des guêpes ou potentiellement même le frelon géant asiatique entraient.
« Une telle menace pourrait tuer votre ruche en quelques heures, et ce serait fini », a déclaré Cusack. « Mais si vous étiez au courant dans les 10 minutes suivant cet événement et que vous pouviez vous rendre sur place et vous impliquer, vous pourriez potentiellement sauver des colonies entières.»
Ce n'est que lorsque Cusack a entendu parler de Lobe qu'il a vu un moyen gérable de concrétiser le projet.
« Je m’en sors bien en ce qui concerne les technologies, mais lorsque j'avais essayé de faire des choses sur l'apprentissage automatique dans le passé, j'ai trouvé assez intimidant ou accablant de rassembler toutes les pièces du puzzle », a déclaré Cusack, ingénieur logiciel chez Microsoft qui travaille normalement dans le développement Web d'entreprise. « Lobe a immédiatement déclenché un tilt en moi ».
L'application gratuite, que Microsoft a mise en Public Preview, aide les personnes sans expérience en science des données à importer des images dans Lobe et à les étiqueter facilement pour créer un ensemble de données d'apprentissage automatique. Lobe sélectionne automatiquement la bonne architecture d'apprentissage automatique et commence la formation sans aucune configuration ni aucun paramétrage. Les utilisateurs peuvent évaluer les forces et les faiblesses du modèle avec des résultats visuels en temps réel, jouer avec le modèle et offrir des commentaires pour améliorer les performances.
Microsoft a expliqué que, dans un premier temps, Lobe prend en charge la classification d'images, mais prévoit de s'étendre à d'autres types de modèles et de données à l'avenir, déclare Microsoft.
Une fois la formation terminée, les modèles peuvent être facilement exportés pour fonctionner sur des plateformes standard de l'industrie et fonctionner dans des applications, des sites Web ou des appareils. Cela permet aux utilisateurs de créer des solutions d'apprentissage automatique de bout en bout à la maison ou sur le lieu de travail, telles que la création d'une alerte lorsqu'un raton laveur résident récupère ses ordures ou le signalement lorsqu'un employé en situation dangereuse ne porte pas de casque.
Pour commencer à utiliser Lobe, les gens importent des images des choses qu'ils veulent que Lobe reconnaisse, comme cet arbuste à baies Toyon. L'application sélectionne et commence automatiquement à entraîner un modèle d'apprentissage automatique
Certains ont déjà commencé à utiliser cette solution
Les premiers clients incluent The Nature Conservancy, qui utilise l'application Lobe dans le cadre d'un projet plus vaste visant à cartographier et à protéger les ressources marines des Caraïbes et à choisir les photos de vacances téléchargées par les touristes visitant ces régions concernant l'observation des baleines et des dauphins.
D'autres clients ont utilisé Lobe pour créer des applications qui peuvent aider à identifier les plantes nuisibles comme le chêne empoisonné lors d'une randonnée, ou qui utilisent une caméra pour envoyer une alerte lorsqu'ils laissent accidentellement la porte du garage ouverte ou lorsque la place de stationnement dans la rue devant leur maison s'ouvre.
« Lobe prend ce qui est une technologie sophistiquée et complexe et la rend activement amusante », a déclaré Bill Barnes, directeur de Lobe, que Microsoft a acquis et a commencé à incuber en 2018. « Ce que nous constatons, c'est que cela inspire les gens. Cela les rassure sur le fait qu'ils peuvent réellement utiliser l'apprentissage automatique. Et lorsque vous avez confiance en vous, vous devenez plus créatif et commencez à regarder autour de vous et à vous demander: "Que puis-je faire d’autre avec ça? " »
Lobe, qui est disponible en téléchargement sur Windows et macOS, utilise des architectures d'apprentissage automatique open source et transfère l'apprentissage pour former des modèles d'apprentissage automatique personnalisés sur la propre machine de l'utilisateur. Toutes les données sont gardées privées, sans connexion Internet ni connexion requise. La formation étant automatique, les utilisateurs peuvent commencer par importer simplement des images des éléments qu'ils souhaitent que Lobe reconnaisse.
Dans le projet de la ruche de Cusack, qu'il a réalisé lors du dernier hackathon de Microsoft, il a utilisé une caméra à détecteur de mouvement qui a pris des photos d'abeilles mellifères alors qu'elles volaient dans la ruche, ainsi que d'envahisseurs comme les guêpes et le frelon asiatique géant. Parce que les observations du frelon dans la nature sont encore rares, Cusack a imprimé des images, les a attachées à des bâtons et les a collées dans la ruche pour imiter une menace invasive.
Lobe a utilisé ces images pour créer un modèle d'apprentissage automatique capable de distinguer les différents insectes et de fonctionner sur un petit appareil Raspberry Pi à l'entrée de la ruche pour alerter les propriétaires en cas de problème.
Permettre à davantage de personnes de tirer parti de l’apprentissage automatique
Lobe occupe une place idéale pour les clients à la recherche d'un moyen simple et rapide de se lancer dans l'apprentissage automatique en utilisant leurs PC ou Mac sans nécessiter de dépendance au cloud, déclare Microsoft. Il complète les services d'Azure AI pour les clients qui cherchent à tirer parti des capacités de cloud computing.
« Nous voulons vraiment permettre à davantage de personnes de tirer parti de l'apprentissage automatique et de l'essayer pour la première fois », a déclaré Jake Cohen, directeur principal du programme de Lobe. « Nous voulons qu'ils puissent l'utiliser d'une manière qu'ils ne pouvaient pas avant ou qu'ils ne savaient pas qu'ils pouvaient employer auparavant ».
Lobe simplifie le processus d'apprentissage automatique en trois étapes faciles : collecter et étiqueter des images, former un modèle et comprendre ses résultats, l'améliorer
L’organisme à but non lucratif qui voudrait faire une cartographie du tourisme
The Nature Conservancy utilise Lobe pour soutenir son projet Mapping Ocean Wealth, qui cherche à cartographier comment et où le tourisme, la pêche et d'autres activités affectent potentiellement d'importantes ressources océaniques (dans le but d'aider les responsables de cinq pays des Caraïbes à prendre des décisions plus éclairées au sujet de l’économie et de la conservation).
L'organisation à but non lucratif utilise Lobe pour signaler des photos de vacances illustrant des activités d'observation de baleines ou de dauphins que les visiteurs de ces pays ont téléchargées sur un site Web de voyage populaire. Les photos ont été dépouillées de toutes les informations personnelles, mais conservent des données géographiques, ce qui peut aider à donner aux décideurs une idée approximative de la popularité de ces activités touristiques basées sur la nature dans différents endroits.
« Il y a beaucoup de bonnes cartes de pêche, il y a beaucoup de bonnes cartes de navigation et de cartes qui montrent où se trouvent les différents habitats. Mais il est en fait assez difficile de capturer les modèles spatiaux de ce que font les touristes, où et à quelle intensité », a déclaré Kate Longley-Wood, coordinatrice de la cartographie océanique pour The Nature Conservancy. « Nous avons donc constaté que ces ensembles de données crowdsourcing peuvent être vraiment utiles pour combler ces lacunes ».
Avant d'utiliser Lobe, The Nature Conservancy a dû passer un contrat avec des chercheurs et des étudiants en science des données pour créer un modèle d'apprentissage automatique personnalisé qui pourrait identifier les touristes s'engageant dans les récifs coralliens. Mais Lobe a permis à l'organisation à but non lucratif de faire le même travail en interne, en utilisant du personnel n'ayant aucune expérience en programmation ou en science des données.
Pour entraîner le modèle, Longley-Wood a collecté deux ensembles d'images et les a importés dans Lobe. Les premiers étaient des photos de vacances « d'observation des baleines et des dauphins » de personnes qui sont clairement engagées dans ces activités. Le second contient des images qui ne sont « ni des baleines ni des dauphins » (des images de bateaux, de paysages marins, de gens en apnée).
L'un des avantages de Lobe est qu'il est très facile de voir où le modèle se trompe et d'améliorer rapidement sa précision, a déclaré Longley-Wood. Si le modèle est confus et attribue une étiquette incorrecte à une photo d'une personne nageant à côté d'un bateau comme une photo d'observation des baleines, vous pouvez la corriger en cliquant sur un bouton.
Le marketing automobile
Un autre client précoce, Chris Cachor, est ingénieur logiciel pour Sincro, une société Ansira spécialisée dans le marketing automobile. Il aide les concessionnaires automobiles locaux à obtenir les meilleures performances des publicités sur les réseaux sociaux.
Les gens sont moins susceptibles de s'engager avec des publicités présentant des images d'archives d'un modèle de voiture à vendre, par opposition à une photo authentique de la voiture telle qu'elle apparaît sur le terrain, a déclaré Cachor. Pourtant, les scripts conçus pour signaler les photos de voitures génériques n'ont pas toujours été en mesure de suivre le rythme des images générées par ordinateur de plus en plus sophistiquées, a-t-il déclaré.
Cachor a déclaré qu'il avait pensé à utiliser l'apprentissage automatique pour automatiser cette tâche, mais les outils qu'il avait rencontrés semblaient trop encombrants et longs à apprendre. Avec Lobe, il a pu importer et étiqueter des exemples d'images de voitures de stock, générées par ordinateur et authentiques. En quelques minutes, il a eu sa première version d'un modèle de vision par ordinateur pour éliminer les photos qui sont moins susceptibles de bien fonctionner dans les publicités.
« C'était tellement cool de voir les résultats tout de suite sans que cela devienne un projet académique d'un week-end », a déclaré Cachor. « Cela vous a fait passer de zéro à 60 très rapidement. »
Télécharger Lobe
Regarder Lobe en action
Source : Microsoft
Et vous ?
Êtes-vous intéressé par l'intelligence artificielle en général ou par l'apprentissage automatique en particulier ?
Avez-vous déjà utilisé un outil pour vous aventurer dans cet univers ?
Que pensez-vous des outils comme Lobe visant à simplifier le plus possible l'expérience utilisateur ?