Cohere lance une famille de modèles multilingues ouverts

Introduction

Cohere, une entreprise spécialisée dans l'IA, a lancé une nouvelle famille de modèles multilingues appelés Tiny Aya. Ces modèles sont ouverts, c'est-à-dire que leur code sous-jacent est disponible publiquement pour être utilisé et modifié. Ils prennent en charge plus de 70 langues et peuvent fonctionner sur des appareils courants comme les ordinateurs portables sans nécessiter de connexion internet.

Contexte Technique

Les modèles Tiny Aya sont conçus pour être légers et flexibles, avec une version de base contenant 3,35 milliards de paramètres, ce qui est une mesure de leur taille et de leur complexité. La famille de modèles comprend également des variantes régionales, telles que TinyAya-Earth pour les langues africaines, TinyAya-Fire pour les langues d'Asie du Sud, et TinyAya-Water pour les langues d'Asie-Pacifique, d'Asie de l'Ouest et d'Europe. Ces modèles ont été formés sur un seul cluster de 64 GPU H100 (une sorte de processeur haute performance de Nvidia) en utilisant des ressources informatiques relativement modestes.

Analyse et Implications

L'approche de Cohere permet à chaque modèle de développer une compréhension linguistique plus solide et une nuance culturelle, créant des systèmes qui semblent plus naturels et fiables pour les communautés qu'ils sont censés servir. Les modèles Tiny Aya sont idéaux pour les chercheurs et les développeurs qui créent des applications pour des publics qui parlent des langues natives. Les modèles sont capables de fonctionner directement sur les appareils, ce qui permet aux développeurs de les utiliser pour alimenter des traductions hors ligne. Cela peut ouvrir un large éventail d'applications et de cas d'utilisation dans les pays linguistiquement diversifiés comme l'Inde, sans nécessiter d'accès constant à internet.

Perspective

Les modèles Tiny Aya sont disponibles sur HuggingFace, une plate-forme populaire pour le partage et le test de modèles d'IA, ainsi que sur la plate-forme Cohere. Les développeurs peuvent télécharger les modèles sur HuggingFace, Kaggle et Ollama pour un déploiement local. L'entreprise prévoit également de publier des ensembles de données de formation et d'évaluation sur HuggingFace et de publier un rapport technique détaillant sa méthodologie de formation. Il sera important de suivre comment ces modèles seront utilisés et adaptés dans différents contextes, ainsi que les limites et les défis potentiels liés à leur utilisation.