Introduction

TwelveLabs, une entreprise spécialisée dans le développement de modèles de fondation d'intelligence artificielle (IA) générative, a annoncé une levée de fonds de 100 millions de dollars pour améliorer l'intelligence de ses modèles d'IA vidéo. Cette levée de fonds, menée par NEA et NAVER Ventures, porte le total des fonds levés par l'entreprise à plus de 207 millions de dollars.

Contexte Technique

TwelveLabs se différencie en développant des modèles d'IA capables de comprendre les vidéos de manière native, et non simplement en traitant les vidéos comme du langage. Les modèles de l'entreprise, tels que la famille de modèles Marengo et Pegasus, sont conçus pour comprendre les vidéos de manière multimodale, en prenant en compte les éléments visuels, audio et textuels. Le modèle Marengo permet d'incorporer des données vidéo, audio et textuelles dans des structures de données lisibles par machine, telles que les bases de données vectorielles, afin que les modèles d'IA puissent les comprendre et les rechercher à grande échelle.

Le modèle Pegasus travaille en tandem avec Marengo pour transformer les vidéos en données structurées, en comprenant les limites de scène, les entités, les segments de temps et ce qui se passe, permettant ainsi aux modèles de langage de raisonner à travers les informations visuelles. Cette approche permet aux modèles d'IA de consommer les vidéos de manière plus efficace, sans avoir besoin de les segmenter en captures d'écran individuelles.

Analyse et Implications

L'impact potentiel de cette technologie est considérable, car elle peut être appliquée à de nombreux flux de travail dans des industries telles que la sécurité, la publicité, les sports et l'automobile, où de grandes quantités d'informations résident dans les vidéos. Les modèles d'IA de TwelveLabs pourraient permettre aux machines d'analyser, de rechercher et d'exploiter les vidéos de manière plus efficace, ouvrant ainsi de nouvelles possibilités pour l'automatisation et l'analyse de données.

La collaboration avec Amazon Web Services (AWS) est également un aspect important de cette levée de fonds, car TwelveLabs va approfondir sa relation avec AWS et lancer de nouveaux modèles sur la plateforme en premier. Cela pourrait faciliter l'accès aux modèles d'IA de TwelveLabs pour les entreprises et les développeurs qui utilisent déjà les services d'AWS.

Perspective

Il est important de surveiller les prochaines étapes de TwelveLabs et son impact potentiel sur le marché de l'IA. Les limites de la technologie, telles que la qualité des données d'entraînement et la capacité à généraliser à différents contextes, devraient être prises en compte. Cependant, si TwelveLabs parvient à surmonter ces défis, ses modèles d'IA pourraient révolutionner la façon dont nous traitons et analysons les vidéos, ouvrant ainsi de nouvelles possibilités pour l'innovation et la croissance dans de nombreux domaines.