Contexte de l’incident
Le 22 avril 2024, l’utilisatrice d’Instagram Kalie Robins a publié une vidéo virale montrant Meta AI affichant le prompt « Who is the child passenger? » sous un extrait où elle chante avec sa fillette dans la voiture. Après avoir cliqué, l’assistant a rassemblé des informations issues de publications antérieures de Robins, de comptes de proches et de métadonnées vidéo, puis a proposé des invites supplémentaires portant sur l’âge des enfants et le lieu de résidence. Le système a même affiché une photo que la mère affirme avoir supprimée plusieurs années auparavant.
Meta AI est intégré à Facebook, Instagram, WhatsApp et Messenger, où il répond aux questions, rédige des posts et génère des images. En juillet 2023, la société a retiré une fonctionnalité permettant de créer des deepfakes d’utilisateurs Instagram après un tollé médiatique. Suite à l’incident, la porte‑parole Dina El‑Kassaby a déclaré que Meta avait « missed the mark » et que la fonctionnalité « never should have prompted the individual with questions like that ». Cette reconnaissance officielle a déclenché l’annonce d’une mise à jour corrective.
Mécanisme de génération des suggestions
Meta AI repose sur un modèle de langage large enrichi d’un module de récupération (retrieval‑augmented generation). Le moteur indexe le contenu accessible à l’utilisateur – posts, vidéos, commentaires – et crée des embeddings sémantiques. Lorsqu’un post est détecté comme « intéressant », le modèle interroge la base d’embeddings et génère une suggestion de suivi. Aucun filtre dédié aux catégories sensibles (enfants, données personnelles) n’apparaît dans la description publique, ce qui explique pourquoi le terme générique « child » a déclenché une question invasive.
Le processus exploite uniquement les données déjà visibles par l’utilisateur, mais il agrège ces éléments à travers plusieurs comptes liés (famille, amis). Cette agrégation multiplie les points de corrélation et augmente le risque de reconstruction d’un profil détaillé, même si chaque fragment est publiquement disponible. L’absence de barrière logique entre « contenu public » et « information sensible » crée une porte ouverte aux prompts qui croisent des entités protégées, comme les mineurs.
Correction annoncée et limites
Meta a indiqué qu’elle modifie le pipeline de génération de prompts afin d’intégrer une couche de filtrage des sujets personnels. Selon la déclaration d’El‑Kassaby, le nouveau filtre empêche la création de suggestions portant sur les âges, les localisations ou les identités des enfants, et restreint la récupération d’images supprimées. La société affirme que les réponses générées restent limitées aux informations déjà accessibles à l’utilisateur, sans exploitation supplémentaire de métadonnées privées.
Le communiqué ne précise pas les paramètres techniques du correctif : type de modèle, seuils de confiance, ou liste exhaustive des catégories bloquées. Sans ces détails, il est difficile d’évaluer la robustesse du mécanisme face à des contournements (ex. reformulation du prompt, utilisation de synonymes). La mise à jour devra être surveillée en continu pour détecter d’éventuels faux négatifs, où des prompts utiles seraient indûment bloqués, et pour garantir que la balance entre personnalisation et protection de la vie privée ne se détériore pas.