Présentation
Clipto Studio est la plateforme de mémoire pour chatbots annoncée par la startup Clipto Inc. Elle permet aux assistants génératifs tels que ChatGPT et Claude d’interroger directement des années d’enregistrements de réunions et d’appels vidéo. Le fondateur Henry Kang indique que les IA connaissent largement le contenu publié en ligne, mais restent aveugles face aux téraoctets d’audio et de vidéo stockés sur les disques durs des entreprises.
Selon Clipto, les décisions stratégiques sont souvent prises lors d’appels Zoom ou d’interviews client, dont les informations restent enfermées dans des fichiers multimédias non structurés. La plateforme vise à rendre ces données exploitables en les transformant en un format indexable pour les modèles de langage.
Fonctionnement technique
Clipto Studio s’intègre aux assistants via le Model Context Protocol et exécute des modèles propriétaires localement sur les ordinateurs Mac et Windows. Cette exécution locale limite les latences de requête et préserve la confidentialité des enregistrements, car aucune donnée n’est envoyée à un serveur distant.
Le pipeline d’indexation commence par la transcription du discours, la diarisation des locuteurs, la détection des expressions faciales et l’extraction des éléments visuels affichés à l’écran. Chaque flux brut est ainsi converti en un jeu de métadonnées structuré – timestamps, texte transcrit, identité du locuteur, émotions détectées – optimisé pour les requêtes des IA. Lorsque l’utilisateur formule une question, le système interroge ce catalogue de métadonnées et renvoie les passages pertinents, incluant le moment exact dans la vidéo.
Par exemple, un consultant peut demander à ChatGPT le moment où le périmètre d’un projet a changé ; le moteur recherche dans les six mois d’enregistrements et fournit le timestamp précis, sans que l’utilisateur ait à visionner l’intégralité des appels.
Scénarios d’usage et limites
Outre le repérage de décisions, la plateforme permet à un chercheur d’interroger Claude pour identifier les problèmes récurrents dans des milliers d’appels clients, en extrayant des citations directes. Elle peut également créer des « highlight reels » à partir de dizaines d’heures de présentations, en sélectionnant les segments jugés les plus pertinents.
Ces capacités reposent sur un traitement intensif du signal audio‑vidéo. La charge computationnelle dépend fortement des capacités du poste local ; les ordinateurs modestes risquent de rencontrer des temps d’indexation élevés. De plus, la source ne fournit pas de benchmarks chiffrés, ce qui empêche d’évaluer la précision de la transcription ou la robustesse de la reconnaissance d’émotions dans des environnements bruyants.
L’embauche de la chercheuse Dr Mei Han, ancienne scientifique de Google et titulaire d’un doctorat en robotique de Carnegie Mellon, souligne l’ambition de Clipto d’élaborer une architecture multimodale légère. Son rôle consiste à optimiser la combinaison du texte, de l’audio et de la vidéo afin de réduire le coût matériel tout en maintenant la qualité des indexations.
