Laisser un agent voir et piloter votre bureau, sous vos yeux

Les agents sont à l'aise avec les commandes et les fichiers. Mais changer un mot de passe dans une interface web sans API, cocher une case dans une page d'administration, remplir un formulaire : ça exigeait votre présence au clavier. Avec un serveur d'outils qui capture l'écran et pilote souris et clavier, l'agent le fait, et vous ne faites que regarder.

Ce que vous y gagnez. Les dernières corvées manuelles déléguées : changements de mots de passe et réglages dans des applis web sans ligne de commande, l'agent qui clique, vous qui supervisez. Plus les quatre constantes sans lesquelles tout échoue en silence.

1. Un serveur d'outils par bureau

Ce n'est pas une affaire de goût : grim ne capture rien sous GNOME. Déclarez les deux sous le même nom, chacun sur sa machine, pour que les consignes de l'agent restent identiques.

uvx --from wayland-mcp-kurojs wayland-mcp     # sur le portable Hyprland

2. Deux conditions pour l'allumer

• /dev/uinput appartient à root. Ajoutez une règle udev qui le donne au groupe input, mettez votre compte dans ce groupe, et déconnectez-vous puis reconnectez-vous : le groupe ne s'applique qu'à une nouvelle session. Avant ça, ydotoold reste « activating » pour toujours.
• GNOME demande le consentement par son portail au premier usage, sur l'écran de la machine elle-même. Acceptez une fois ; le jeton est conservé.

Lancez ydotoold en service utilisateur, pas système. Il peut taper dans n'importe quelle fenêtre ouverte, terminal root compris : cantonnez-le au moins à votre session.

3. Les quatre constantes

Sans elles, rien ne marche et rien ne le dit. Les clics tombent dans un coin, un champ se vide, un bouton reste muet.

1. La grille de la souris n'est pas l'écran. Sur notre portable, ydotool mousemove --absolute travaille sur une grille de 768×432 pour un écran 1920×1080 mis à l'échelle à 125 % : envoyez le pixel lu sur la capture × 0,4. Vérifiez avec la position du curseur donnée par le compositeur après un déplacement (hyprctl cursorpos) : c'est la seule preuve.
2. Le texte tapé perd des caractères. outlook.com est devenu outloocom, et le = d'un lien a disparu. Faites tout passer par le presse-papier (wl-copy, puis Ctrl+V), liens comme mots de passe.
3. Échap fait sortir du plein écran. Pour fermer une boîte de dialogue, cliquez son bouton.
4. Le focus se perd quand vous tapez ailleurs. Vérifiez quelle fenêtre a le focus avant chaque rafale de touches, et calculez les positions depuis la liste des fenêtres, jamais en dur.

4. Un arbitre pour chaque geste

Un modèle qui regarde une capture dira volontiers « c'est fait ». Nous avons ajouté un petit outil qui compare la capture avant et après un geste et rend un fait :

• NO_OP : rien n'a bougé, le geste n'a pas porté ;
• CONFIRMED : un petit changement localisé, la signature d'une interface qui a réagi ;
• DIVERGED : presque tout a changé, une autre fenêtre a pris le dessus.

Lisez le titre de la fenêtre avant de prendre une image. C'est du texte, ça ne coûte rien, et un titre comme « Mes commandes » prouve une connexion aussi bien qu'une image de 200 Ko.

Pièges

Restez dans la pièce. Un agent qui a votre clavier peut taper dans n'importe quelle fenêtre : supervisez chaque session, et ne le laissez jamais tourner seul sur un bureau où un terminal root est ouvert.

Utile ? Dites-nous ce qu'il faut mesurer ensuite.