Présentation

Le Drop de septembre 2026 pour Android étend le service Find Hub au suivi d’objets non équipés de traceur. À partir d’Android 16, l’assistant Gemini peut enregistrer la localisation d’un objet déclaré par l’utilisateur, avec ou sans photo. Le même Drop officialise les points d’assistance Motion Assist, introduits la semaine précédente, et déploie la fonction Guided Vision de Gemini Live, accessible via les raccourcis d’accessibilité et le menu TalkBack.

Fonctionnement technique

Le processus d’enregistrement repose sur une API interne de Gemini qui reçoit deux paramètres : une description textuelle de l’objet et, le cas échéant, un fichier image. L’application Find Hub stocke ces métadonnées dans la base SQLite locale, indexées par un identifiant unique généré à la volée. La localisation provient du GPS ou du réseau cellulaire du téléphone au moment de la déclaration, puis est associée à l’entrée via un horodatage UTC. Cette architecture évite tout échange réseau supplémentaire, ce qui limite l’exposition des données sensibles.

Guided Vision exploite le pipeline de vision sur‑device de Android 9 Pie et versions ultérieures. Le flux vidéo de la caméra est découpé en tranches de 30 ms, chaque tranche étant traitée par le modèle TensorFlow Lite « Gemini‑Vision‑Assist ». Le modèle identifie les objets, extrait le texte via OCR et calcule la distance entre la main détectée et l’objet cible en utilisant la profondeur estimée à partir du focus de la caméra. Les résultats sont renvoyés au service d’accessibilité qui les vocalise via TalkBack ou les affiche sous forme de points lumineux.

Les points Motion Assist sont des indicateurs graphiques superposés aux animations d’écran. Ils utilisent le paramètre android:motionScale du framework UI pour réduire la vitesse de déplacement des éléments, atténuant ainsi le mal des transports. Le rendu se fait dans le compositor SurfaceFlinger, ce qui garantit une latence inférieure à 16 ms sur les appareils compatibles.

Implications et limites

Le suivi d’objets sans traceur augmente la portée fonctionnelle de Find Hub, mais introduit un risque de fuite de localisation si l’appareil est compromis. La dépendance à la base locale signifie que la récupération d’un objet perdu nécessite un accès physique au téléphone ou une synchronisation cloud explicite, qui n’est pas activée par défaut. De plus, la précision du GPS au moment de l’enregistrement dépend de la couverture réseau, ce qui peut entraîner des écarts de plusieurs mètres.

Guided Vision, bien que disponible sur Android 9, impose une charge CPU/GPU notable : le modèle TensorFlow Lite consomme en moyenne 120 mW et occupe 30 % d’un cœur Cortex‑A78 à 2,2 GHz. Sur les appareils bas de gamme, cela peut réduire l’autonomie de la batterie d’environ 5 % lors d’une utilisation continue. Le système de profondeur estimée reste approximatif, surtout en conditions de faible éclairage, ce qui limite la fiabilité de la mesure de distance.

Les points Motion Assist sont compatibles avec la plupart des écrans, mais les appareils dépourvus de support du paramètre motionScale affichent simplement l’animation standard, sans réduction de mouvement. Ainsi, l’expérience anti‑nausée n’est pas homogène sur l’ensemble du portefeuille Android.