Subquadratic révolutionne l'IA avec 12M de jetons de contexte

Introduction

Subquadratic, une entreprise spécialisée dans le développement de modèles d'intelligence artificielle (IA) génératifs, a lancé son activité avec un financement initial de 29 millions de dollars. L'objectif de l'entreprise est de révolutionner le domaine de l'IA en proposant un modèle capable de gérer des contextes plus larges et plus précis.

Contexte Technique

Le modèle d'IA de Subquadratic, appelé SubQ, utilise une architecture subquadratique qui permet d'augmenter considérablement la fenêtre de contexte, c'est-à-dire la quantité d'informations que l'IA peut traiter en une seule fois, sans augmenter de manière significative les ressources de calcul nécessaires. Cette architecture repose sur une attention éparse, qui permet de réduire les comparaisons entre les tokens (unités de texte) et ainsi de diminuer les coûts de calcul.

Les modèles d'IA traditionnels utilisent une attention dense, qui compare chaque token à tous les autres, ce qui entraîne une augmentation rapide des coûts de calcul. En revanche, l'architecture subquadratique de SubQ permet de gérer des contextes de jusqu'à 12 millions de tokens, soit environ 9 millions de mots ou 120 livres, tout en maintenant une grande précision et en réduisant les coûts de calcul.

Analyse et Implications

Les implications de cette technologie sont considérables, car elle permettra aux développeurs de créer des applications plus puissantes et plus précises, capables de traiter des quantités massives de données. Subquadratic prévoit de lancer une interface de programmation d'application (API) pour permettre aux développeurs et aux équipes d'entreprise d'accéder à la fenêtre de contexte de 12 millions de tokens.

Le modèle SubQ est également conçu pour être plus rapide et moins coûteux que les modèles actuels, avec une réduction de coûts de calcul de près de 1 000 fois par rapport aux modèles de pointe. Cela ouvre des perspectives pour des applications telles que la recherche, la programmation et les charges de travail d'entreprise.

Perspective

Subquadratic est convaincu que son architecture subquadratique va révolutionner le domaine de l'IA en permettant aux développeurs de créer des applications plus puissantes et plus précises. L'entreprise prévoit de continuer à améliorer son modèle et à développer de nouvelles applications pour répondre aux besoins des utilisateurs.

Les limites de la technologie actuelle, telles que les coûts de calcul élevés et les contraintes de contexte, seront progressivement levées, permettant ainsi aux applications d'IA de devenir plus accessibles et plus performantes. Il est important de suivre les progrès de Subquadratic et de l'industrie de l'IA dans son ensemble pour comprendre les implications de ces avancées sur les marchés et les sociétés.