Présentation de la fonction
Google a déployé sur macOS une extension de son application Gemini baptisée « computer use ». Cette extension autorise l’agent à manipuler des fichiers locaux, à piloter des applications de bureau et à interagir avec le Web afin d’accomplir des tâches séquentielles. Le déploiement s’effectue actuellement en anglais pour les utilisateurs américains, comme indiqué par Google.
Mécanisme d’accès aux ressources locales
Pour intervenir sur le système, Gemini s’appuie sur une fenêtre de fond qui diffuse un aperçu en temps réel dans la conversation. Cette fenêtre indique visuellement les actions entreprises, ce qui rend le processus observable par l’utilisateur. Le texte précise que les utilisateurs peuvent sélectionner les applications accessibles à Gemini, suggérant l’utilisation d’interfaces d’automatisation macOS telles que AppleScript ou les API d’accessibilité. Le contrôle granulaire implique que chaque application doit être explicitement autorisée, ce qui limite l’exposition aux seules cibles définies.
Gestion des permissions et sécurité
Le lancement de la fonction coïncide avec l’introduction par Apple de nouvelles restrictions concernant l’accès complet au disque pour les applications. Apple justifie ces restrictions par le risque potentiel que représentent les agents d’IA capables d’interagir avec le système de fichiers. La mise à jour de macOS 27.3 beta inclut un aperçu des réglages de permission, indiquant que Gemini devra se conformer à la même politique d’autorisation. Cette double couche – autorisation explicite de l’utilisateur et visibilité via la fenêtre de fond – constitue un mécanisme de mitigation contre les usages non désirés.
Implications pour les flux de travail
Google positionne la fonction comme un accélérateur de flux de travail, citant des cas d’usage tels que le remplissage de formulaires, la création de présentations ou la rédaction de listes d’articles à vendre. En automatisant ces étapes, Gemini réduit le nombre d’interactions manuelles nécessaires. Toutefois, l’obligation de choisir les applications autorisées et la visibilité en temps réel introduisent une contrainte supplémentaire qui peut ralentir l’adoption dans des environnements où la rapidité prime. Le compromis entre automatisation et contrôle d’accès reflète la tension actuelle entre productivité et sécurité dans les environnements de bureau alimentés par l’IA.