Contexte et problème de mémoire

Les modèles Mixture‑of‑Experts (MoE) permettent d’atteindre des tailles de plusieurs centaines de milliards de paramètres, mais chaque expert MLP reste chargé en mémoire lors de l’inférence. Le modèle Qwen3.5‑122B, par exemple, possède 256 experts par couche sur 48 couches MoE, ce qui représente environ 95 % d’une empreinte mémoire totale de 250 Go, alors que seuls 8 experts sont réellement sollicités par token.

Pruning de premier ordre

Le pruning d’experts consiste à supprimer de façon permanente les experts jugés les moins utiles. Les méthodes de premier ordre attribuent à chaque expert un score d’importance scalaire, calculé sur un jeu de calibration, puis éliminent les plus faibles de façon indépendante dans chaque couche. Cette approche ignore les dépendances entre experts, alors que les travaux antérieurs montrent que les experts forment des groupes coopératifs qui se co‑activent de façon stable pendant l’entraînement.

Méthode HOPE et formulation quadratique

HOPE (Higher‑Order Pruning of Experts) introduit un critère de second ordre qui intègre les interactions paires d’experts. Le critère J est une borne supérieure du terme dominant de l’erreur de pruning et s’écrit sous forme de somme quadratique, ce qui génère naturellement des termes croisés F_{ij} représentant la coopération entre les experts i et j. Le problème d’optimisation devient :

min_{z∈{0,1}^E}  z^T F z  
subject to  ∑_i z_i = B

où z_i indique si l’expert i est conservé, F est la matrice d’interaction calculée sur le jeu de calibration, et B représente le budget de conservation (par ex. 50 % d’experts). La diagonale de F reproduit les scores REAP (méthode de premier ordre), tandis que les hors‑diagonales capturent les effets de coopération. La résolution se fait par relaxation continue puis arrondi, en 1 à 2 secondes par couche, le coût supplémentaire restant négligeable face au passage de calibration.

Résultats expérimentaux et limites

HOPE a été testé sur trois modèles : Qwen3.5‑122B, Qwen3.5‑35B et GLM‑4.5‑Air (106 B paramètres, 128 experts par couche). À un taux de pruning de 50 %, HOPE obtient le meilleur rang moyen parmi toutes les méthodes, avec un gain maximal de +6,1 % sur des tâches de codage agentique par rapport à REAP. L’analyse de la matrice F montre des blocs diagonaux lumineux, témoignant de groupes d’experts fortement couplés, dont la préservation est cruciale pour éviter la dégradation de performance. Cependant, la méthode repose sur un jeu de calibration représentatif ; un jeu biaisé pourrait conduire à des estimations d’interaction inexactes. De plus, la résolution du QP reste non convexe, bien que les solveurs standards convergent rapidement dans les expériences rapportées.