Contexte et objectifs

Meta a introduit en 2024 un agent conversationnel interne, baptisé Meta AI Agent, destiné à automatiser la rédaction de rapports, la synthèse de données et le support technique. L’entreprise a justifié ce déploiement par la volonté de réduire le temps passé sur des tâches répétitives et d’homogénéiser l’accès aux modèles de langage propriétaire.

Architecture technique de l'agent

L’agent repose sur le modèle Llama 2 70B, hébergé sur les serveurs Meta Cloud. Le service expose une API REST qui accepte un corps JSON contenant le prompt, les paramètres de génération (temperature, top‑p) et un champ max_tokens. Les réponses sont renvoyées sous forme de texte brut ou de fragments JSON structurés, selon le mode d’appel. Le pipeline inclut un module de récupération d’informations (RAG) qui interroge les bases de connaissances internes via Elasticsearch avant de soumettre le contexte au modèle.

curl -X POST https://ai.internal.meta.com/v1/generate \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"prompt":"Résume les KPI du trimestre dernier","max_tokens":2048,"temperature":0.2}'

Le modèle fonctionne avec une limite technique de 32 000 tokens par requête, imposée par la capacité de la mémoire du GPU. Le coût interne estimé est de 0,0001 $ par millier de tokens, ce qui représente un facteur de contrôle budgétaire important pour un effectif de plus de 80 000 salariés.

Gestion des tokens et politique d’usage

Au lancement, Meta a appliqué une règle de « tokenmaxxing » limitant chaque utilisateur à 10 000 tokens par jour afin d’éviter les surcharges de calcul et les dépenses imprévues. En juillet 2024, la direction a annoncé un assouplissement : la limite quotidienne passe à 20 000 tokens, tout en conservant un plafond mensuel de 600 000 tokens par compte. Cette modification repose sur des métriques internes montrant que la plupart des employés n’excèdent jamais 5 000 tokens par jour, même dans les scénarios les plus intensifs.

Impacts et limites

Le déploiement a permis de réduire de 15 % le temps moyen de rédaction de rapports mensuels, selon les indicateurs de productivité internes. Cependant, l’assouplissement de la limite de tokens augmente la charge sur les clusters GPU, ce qui a conduit à une hausse de 8 % de la consommation énergétique du data‑center dédié. De plus, l’accès généralisé à un modèle de 70 B paramètres soulève des questions de confidentialité : les prompts contenant des données sensibles sont automatiquement filtrés par un module de détection de PII, mais le taux de faux‑positifs reste non publié.