L'entreprise de logiciels d'IA Anthropic a annoncé un nouvel outil capable de prendre le contrôle du curseur de la souris de l'utilisateur et d'effectuer des tâches de base sur son ordinateur. Annoncé en même temps que d'autres améliorations des modèles Claude et Haiku d'Anthropic, l'outil s'appelle tout simplement « Utilisation de l'ordinateur ». Il est disponible exclusivement avec le modèle de milieu de gamme 3.5 Sonnet de la société, via l'API. Les utilisateurs peuvent donner des instructions en plusieurs étapes (Anthropic affirme qu'elles peuvent aller jusqu'à des dizaines, voire des centaines d'étapes) pour accomplir des tâches sur l'ordinateur de l'utilisateur en « regardant un écran, en déplaçant un curseur, en cliquant sur des boutons et en tapant du texte ».Voici comment Anthropic explique son fonctionnement :
« Lorsqu'un développeur confie à Claude l'utilisation d'un logiciel et lui donne les accès nécessaires, Claude regarde les captures d'écran de ce qui est visible par l'utilisateur, puis compte le nombre de pixels verticaux ou horizontaux dont il a besoin pour déplacer un curseur afin de cliquer au bon endroit. Il était essentiel d'apprendre à Claude à compter les pixels avec précision. Sans cette compétence, le modèle éprouve des difficultés à donner des ordres à la souris, tout comme les modèles ont souvent du mal à répondre à des questions simples comme « combien y a-t-il de A dans le mot “banane” ?
Le modèle a bien sûr ses limites. Il fonctionne en prenant des captures d'écran successives et rapides plutôt qu'en travaillant avec un flux vidéo en direct, de sorte qu'il peut manquer des notifications de courte durée ou d'autres changements. Il n'est toujours pas en mesure d'effectuer certaines actions courantes, comme le glisser-déposer.
Anthropic a également indiqué qu'il était parfois « lourd et sujet aux erreurs ». Un billet de blog sur le développement de l'outil donne un exemple de la façon dont il s'est mal comporté lors des tests : Il a abandonné une tâche de codage avant de la terminer et a commencé à la place à « parcourir des photos du parc national de Yellowstone »
Envoyé par Anthropic
Claude peut désormais utiliser des ordinateurs. La dernière version de Claude 3.5 Sonnet peut, lorsqu'elle est exécutée avec la configuration logicielle appropriée, suivre les commandes d'un utilisateur pour déplacer un curseur sur l'écran de son ordinateur, cliquer sur des endroits pertinents et saisir des informations via un clavier virtuel, émulant ainsi la manière dont les gens interagissent avec leur propre ordinateur.
Nous pensons que cette compétence, qui est actuellement en version bêta publique, représente une avancée significative dans les progrès de l'IA. Nous vous présentons ci-dessous les résultats des recherches qui ont permis de mettre au point des modèles d'utilisation de l'ordinateur et de les rendre plus sûrs.
Pourquoi l'utilisation d'un ordinateur ?
Pourquoi cette nouvelle capacité est-elle importante ? Une grande partie du travail moderne s'effectue sur ordinateur. Permettre à l'IA d'interagir directement avec les logiciels informatiques de la même manière que les humains débloquera une vaste gamme d'applications qui ne sont tout simplement pas possibles pour la génération actuelle d'assistants d'IA.
Au cours des dernières années, de nombreuses étapes importantes ont été franchies dans le développement d'une IA puissante - par exemple, la capacité d'effectuer des raisonnements logiques complexes et la capacité de voir et de comprendre des images. La prochaine frontière est l'utilisation de l'ordinateur : Des modèles d'IA qui n'ont pas besoin d'interagir par le biais d'outils sur mesure, mais qui sont au contraire habilités à utiliser pratiquement n'importe quel logiciel selon les instructions reçues.
Nous pensons que cette compétence, qui est actuellement en version bêta publique, représente une avancée significative dans les progrès de l'IA. Nous vous présentons ci-dessous les résultats des recherches qui ont permis de mettre au point des modèles d'utilisation de l'ordinateur et de les rendre plus sûrs.
Pourquoi l'utilisation d'un ordinateur ?
Pourquoi cette nouvelle capacité est-elle importante ? Une grande partie du travail moderne s'effectue sur ordinateur. Permettre à l'IA d'interagir directement avec les logiciels informatiques de la même manière que les humains débloquera une vaste gamme d'applications qui ne sont tout simplement pas possibles pour la génération actuelle d'assistants d'IA.
Au cours des dernières années, de nombreuses étapes importantes ont été franchies dans le développement d'une IA puissante - par exemple, la capacité d'effectuer des raisonnements logiques complexes et la capacité de voir et de comprendre des images. La prochaine frontière est l'utilisation de l'ordinateur : Des modèles d'IA qui n'ont pas besoin d'interagir par le biais d'outils sur mesure, mais qui sont au contraire habilités à utiliser pratiquement n'importe quel logiciel selon les instructions reçues.
Des entreprises concurrentes, comme OpenAI, travaillent sur des outils équivalents, mais ne les ont pas encore rendus publics
Il s'agit en quelque sorte d'une course aux...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
