Computer Use.
En françaisutilisation de l’ordinateurAussi : computer-using agent · pilotage d’interface
Capacité d’un modèle à piloter une interface graphique à partir de captures d’écran, par des clics et des frappes au clavier.
Explication
L’application envoie une capture d’écran ; le modèle répond par une action, comme « cliquer en (412, 230) » ou « taper ce texte » ; l’application l’exécute et renvoie une nouvelle capture. C’est une boucle d’agent dont l’outil est l’ordinateur lui-même.
Exemple
Remplir un formulaire sur un site qui ne propose aucune API.
Limites
Lent, fragile face aux changements d’interface, et exposé aux injections cachées dans les pages affichées : à faire tourner dans un environnement isolé.
Notions liées
Chaque ligne se lit comme une phrase : « Computer Use utilise Agent Loop ».
- utiliseAgent Loopboucle d’agent
- utiliseMultimodal Modelmodèle multimodal
- voir aussiTool Callingappel d’outil
- voir aussiCode Sandboxbac à sable d’exécution
- voir aussiIndirect Prompt Injectioninjection indirecte
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le