Présentation
Google a déployé Guided Vision dans l’application Gemini Live sur les appareils Android compatibles dès le 1 octobre 2026. Le service utilise le modèle Gemini pour fournir des descriptions audio en temps réel de tout ce que la caméra du smartphone pointe, notamment la lecture de petits caractères, l’identification d’objets ou la description de scènes. Il s’adresse aux personnes aveugles ou malvoyantes, mais aussi à tout utilisateur souhaitant obtenir une assistance visuelle ponctuelle.
Fonctionnement technique
Guided Vision s’appuie sur le modèle multimodal Gemini, capable d’analyser simultanément flux vidéo et texte. Lorsqu’un utilisateur active la fonction via l’option d’accessibilité TalkBack ou le raccourci dédié (Android 9 et versions supérieures), le flux d’image est envoyé à l’inférence Gemini hébergée dans le cloud. Le modèle renvoie immédiatement une chaîne de texte décrivant le contenu, qui est convertie en synthèse vocale. La latence observée reste inférieure à une seconde, suffisante pour une interaction fluide. Le système propose également des cues audio pour aider à cadrer le sujet, puis accepte des questions de suivi comme « Quelle est la date de péremption ? » grâce à la capacité de dialogue en temps réel du modèle.
Analyse d’impact et limites
En comparaison avec la fonction VoiceOver Live Recognition d’Apple, Guided Vision offre une couverture plus large grâce à l’intégration directe dans Gemini Live et à la disponibilité sur la plupart des appareils Android, pas uniquement sur les iPhone. Cependant, Google précise que le service ne doit pas être utilisé pour la navigation, la détection d’obstacles ou comme substitut à une canne blanche. Cette mise en garde reflète les contraintes actuelles du traitement d’image en temps réel : la précision de la détection d’obstacles dépend d’une résolution de profondeur que les caméras mobiles ne garantissent pas toujours, et les erreurs de reconnaissance pourraient entraîner des risques de sécurité.
Perspectives d’évolution
Le lancement s’inscrit dans la stratégie d’accessibilité de Google, qui a déjà intégré Guided Vision dans TalkBack et propose un raccourci système. À mesure que les modèles Gemini gagneront en capacité de compréhension spatiale et que les capteurs des smartphones évolueront (caméras LiDAR, capteurs de profondeur), on peut anticiper une réduction des limitations actuelles, notamment pour la navigation assistée. En attendant, les développeurs devront veiller à informer les utilisateurs des scénarios d’usage appropriés et à combiner Guided Vision avec d’autres aides physiques pour garantir la sécurité.
