Présentation de Protea

Refiant Inc., une startup spécialisée dans l'optimisation de l'intelligence artificielle, a lancé Protea, une suite de modèles d'IA à longue portée, menée par un modèle à 10 millions de tokens. Ce modèle est considéré comme l'un des plus grands jamais rendus public.

Architecture et fonctionnement

Les fenêtres de contexte déterminent la quantité d'informations qu'un modèle peut stocker en mémoire de travail à la fois. La plupart des modèles leaders ne gèrent pas plus de quelques centaines de milliers de tokens avant que les performances ne se dégradent, obligeant les développeurs à utiliser des solutions de contournement qui divisent les grandes bases de données en fragments.

Refiant affirme que Protea élève ce plafond. Une base de code d'entreprise entière peut être traitée en une seule fois, de même qu'un archive réglementaire complet ou des années de données d'essais cliniques qui étaient auparavant découpées et fournies au modèle pièce par pièce.

Implications et limites

Une fenêtre de 10 millions de tokens équivaut à environ 7,5 millions de mots, ou 15 000 pages. Refiant le formule de manière plus directe : jusqu'à cinq ans de courriels et de messages Slack d'une personne, ou des décennies de rapports et de fichiers. Une équipe d'ingénieurs pourrait charger une base de code complète et exécuter son analyse en un jour.

Le modèle Protea traite également le problème du « perdu dans le milieu », une faiblesse documentée des grandes fenêtres de contexte dans laquelle les modèles restent précis au début et à la fin d'une entrée mais perdent la trace du matériel enfoui entre les deux.

Approche et partenariats

Refiant a été fondé en 2025 par Viroshan Naicker, Siddharth Gutta et Mathew Haswell. L'approche de l'entreprise s'inspire de la recherche évolutionnaire et du comportement des essaims. Refiant a tout d'abord appliqué cette approche à la compression de modèles, en réduisant le modèle GPT-OSS-120B d'OpenAI Group PBC pour qu'il puisse fonctionner sur un MacBook Pro avec 12 gigaoctets de RAM.

Refiant a déjà exécuté un prototype interne à 100 millions de tokens. La question de savoir comment le benchmark et le convertir en produit est toujours ouverte.

Le lancement de Protea fait suite à un cycle de financement de 5 millions de dollars que Refiant a clôturé au début de cette année, mené par VoLo Earth Ventures. Les modèles sont désormais disponibles sur refiant.ai, avec des versions allant de 1 million à 10 millions de tokens, sans liste d'attente ni processus d'approbation pour y accéder.