Présentation

Edge0 a publié en open source les modèles Edge0-145B et Edge0-120B ainsi que le cadre d’inférence unifié et les outils de déploiement associés. Avec 145 milliards de paramètres, Edge0-145B constitue le premier modèle d’IA open source capable de fonctionner entièrement sur un ordinateur personnel, offrant des capacités de codage, de raisonnement et d’agent comparables aux modèles cloud de pointe.

Architecture et optimisation mémoire

Le modèle repose sur une architecture à experts sparsés où chaque groupe de 64 experts partage deux matrices de grande taille. Cette mutualisation réduit le nombre de poids à charger à chaque pas d’inférence : sur les 145 B de paramètres, seulement environ 10 B sont actifs. Le processus d’entraînement intègre dès le départ les contraintes d’exécution locale, évitant ainsi les étapes de compression post‑entraînement. Au moment du chargement, le système pipeline l’accès entre la mémoire GPU, la RAM système et le SSD : une bibliothèque d’experts d’environ 40 Go reste en RAM, tandis que 48 Go de vocabulaire sont stockés sur le SSD et lus à la demande. Cette organisation minimise les temps d’attente sériels.

Performances locales

Sur un ordinateur portable, Edge0-145B atteint plus de 80 tokens/s avec un pic de consommation mémoire de 28 Go. En comparaison, le modèle antérieur Edge0-35B fonctionnait sur un iPhone 18 Pro Max avec 2,5 Go de mémoire et plus de 37 tokens/s. La combinaison CPU‑GPU permet au GPU de calculer les experts mis en cache pendant que le CPU traite le reste, et le décodage spéculatif vérifie plusieurs tokens candidats simultanément, ce qui contribue au débit observé.

Évaluation et limites

Les évaluations internes placent Edge0-145B à 64,6 % sur DeepSWE 1.1 (codage), 90,4 % sur GPQA‑Diamond (raisonnement et connaissances), 80,6 % sur IFBench (suivi d’instructions) et 86,52 % sur Terminal‑Bench 2.1 (tâches terminales). Ces scores dépassent ceux de Qwen‑3.8‑Flash‑Next, DeepSeek‑V4‑Flash‑0731 et, dans certains cas, Claude‑Opus‑4.6. Malgré ces performances, le modèle reste limité par la capacité mémoire disponible : 28 Go restent un seuil élevé pour les ordinateurs portables classiques, et la consommation énergétique n’est pas détaillée. De plus, les benchmarks proviennent d’évaluations internes, ce qui empêche une validation indépendante.