Introduction
Unsloth propose désormais la possibilité de fine-tuner les modèles Qwen3.5, une famille de modèles de langage et de vision. Cette fonctionnalité prend en charge à la fois le fine-tuning de la vision et du texte.
Contexte Technique
Les modèles Qwen3.5 sont disponibles dans différentes tailles, allant de 0,8B à 122B de paramètres. Unsloth permet d'accélérer le processus de fine-tuning de 1,5 fois et de réduire l'utilisation de la mémoire vidéo (VRAM) de 50% par rapport aux configurations FA2. Les utilisateurs peuvent choisir entre le fine-tuning complet (FFT) ou le fine-tuning avec LoRA, qui utilise moins de VRAM.
Les modèles MoE (Mixture of Experts) comme Qwen3.5-35B-A3B et 122B-A10B nécessitent l'utilisation de configurations bf16, telles que LoRA ou le fine-tuning complet, en raison des limitations de BitsandBytes. Les noyaux MoE d'Unsloth sont activés par défaut et peuvent utiliser différents backends.
Analyse et Implications
Le fine-tuning de Qwen3.5 avec Unsloth offre une grande flexibilité, permettant aux utilisateurs de personnaliser les modèles en fonction de leurs besoins spécifiques. Cela peut être particulièrement utile pour les applications qui nécessitent une compréhension approfondie du langage et de la vision. Cependant, il est important de noter que le fine-tuning peut nécessiter des ressources importantes, notamment en termes de VRAM.
Perspective
À l'avenir, il sera important de surveiller les mises à jour et les améliorations apportées à Unsloth et aux modèles Qwen3.5. Les utilisateurs devraient également être conscients des limitations et des risques potentiels associés au fine-tuning, tels que la sur-adaptation et la perte de généralisation. Enfin, la possibilité de sauvegarder et de déployer les modèles fine-tunés sur différentes plateformes, telles que Hugging Face et vLLM, offre de nouvelles opportunités pour les applications pratiques.
