Présentation

Google a publié une mise à jour du client Gemini pour macOS qui permet à l’assistant IA d’interagir directement avec les applications installées sur l’ordinateur de l’utilisateur. La fonctionnalité, disponible dès le lancement aux États‑Unis, n’est accessible qu’aux abonnés du service Google AI, qui bénéficient également d’un espace de stockage supplémentaire et d’autres outils IA.

Fonctionnement et architecture

Les utilisateurs déclenchent l’opération en insérant la balise @Computer use dans leurs requêtes. Gemini identifie alors l’application locale requise, élabore un plan de projet et exécute chaque étape de façon autonome. Par exemple, un designer peut fournir un croquis de véhicule et demander à l’assistant de le transformer en animation 3D ; Gemini lance le logiciel de modélisation, crée les calques nécessaires et génère le rendu.

Le flux de travail supporte des séquences comportant plusieurs dizaines d’actions et autorise le chaînage de tâches : le résultat d’une étape (par ex. un visuel créé dans un outil de design) peut être immédiatement réinjecté dans une autre application, comme Visual Studio Code, pour produire un mini‑app. En plus des programmes locaux, Gemini peut appeler des services web, charger des données depuis des pages Internet vers les applications locales, puis renvoyer les résultats vers le cloud ou d’autres services.

Techniquement, l’assistant s’exécute dans une fenêtre d’arrière‑plan, évitant ainsi toute interruption du travail de l’utilisateur. Un volet d’aperçu intégré à la fenêtre de chat affiche chaque action en temps réel, tandis que des contrôles permettent de mettre le processus en pause, d’approuver ou de refuser des actions critiques. Cette architecture repose sur un moteur d’orchestration côté client qui communique avec les API locales du système d’exploitation pour lancer, contrôler et surveiller les applications.

Analyse des impacts et limites

Le principal avantage réside dans la réduction du temps nécessaire pour passer d’une idée à un livrable fonctionnel, en automatisant des tâches répétitives et en éliminant les allers‑retours manuels entre les outils. Cependant, la dépendance à un abonnement Google AI restreint l’accès à la fonctionnalité, et le déploiement initial limité aux États‑Unis crée une fracture géographique.

Du point de vue de la sécurité, le modèle de permission « vous choisissez les applications accessibles » atténue les risques, mais l’automatisation de l’accès aux applications locales expose potentiellement le système à des actions non désirées si les contrôles d’approbation sont contournés ou mal configurés. La visibilité en temps réel du flux de travail aide à la surveillance, mais la complexité des chaînes d’actions peut rendre difficile la traçabilité exhaustive des changements apportés aux fichiers.

En comparaison, Meta propose Muse, qui offre une capacité similaire, et OpenAI propose Dots, qui fonctionne également via le cloud. Google pourrait étendre ce mode « computer use » à d’autres systèmes d’exploitation et aux environnements professionnels, où l’automatisation de processus métier (par ex. approvisionnement) représente un enjeu majeur.