Présentation du défi
L'utilisation d'un modèle de langage comme Qwen 3.5-122B sur un Mac Studio nécessite une optimisation soignée pour atteindre des performances satisfaisantes. Initialement, l'utilisation de DS4 Flash a montré des limites, notamment en termes de latence pour les conversations longues.
Contexte technique
Le passage à Qwen 3.5-122B a été motivé par la recherche d'un meilleur équilibre entre la taille du modèle, la bande passante de la mémoire et les besoins spécifiques de l'utilisation de longues conversations. Ce modèle offre une meilleure correspondance pour l'utilisation sur un M3 Ultra, avec une taille de paramètres active de 10B, ce qui permet une alimentation efficace des unités de calcul sans stagner.
Implications et limites
Cependant, l'implémentation initiale de Qwen 3.5-122B présentait des problèmes de performances due à trois bugs spécifiques. Le premier bug était lié à un horodatage dans le prompt système, qui rendait le cache invalide à chaque tour. Le deuxième bug concernait la réponse qui n'était pas enregistrée lorsque l'utilisateur interrompait le modèle pendant sa réponse. Le troisième bug était dû à des écritures parasites dans le magasin de points de contrôle, qui pouvaient faire dépasser la limite de stockage et entraîner des pertes de données.
Résolution et analyse
La résolution de ces bugs a nécessité une analyse approfondie du fonctionnement du modèle et de son interaction avec le système. La suppression de l'horodatage dans le prompt système, la persistence de la réponse dans le cache même en cas d'interruption, et la correction des écritures parasites dans le magasin de points de contrôle ont permis d'améliorer significativement les performances et la stabilité du modèle. Ces corrections ont été intégrées dans une version personnalisée du serveur d'inférence, appelée qMLX, qui est désormais disponible sur GitHub.
Exemple de code pour la persistence de la réponse :
# Enregistrer la réponse dans le cache avant de quitter
def persist_response(response):
# Code pour enregistrer la réponse
pass
En résumé, l'optimisation de Qwen 3.5-122B sur Mac Studio a nécessité une compréhension approfondie des mécanismes sous-jacents du modèle et de son interaction avec le système. La résolution des bugs et l'amélioration des performances ont permis de rendre le modèle plus efficace et plus fiable pour les utilisations qui nécessitent des conversations longues et interactives.
