Au-delà de LoRA : Les alternatives au fine-tuning

Introduction

Le fine-tuning de modèles ouverts sur vos propres données nécessite souvent des techniques de fine-tuning efficaces en termes de paramètres, appelées PEFT. Parmi ces techniques, LoRA est la plus populaire, mais est-elle vraiment la meilleure ?

Contexte Technique

Le fine-tuning de modèles est gourmand en mémoire, ce qui nécessite l'utilisation de techniques comme la quantification pour réduire l'empreinte mémoire. Cependant, les modèles quantifiés ne peuvent pas être fine-tunés directement, ce qui a conduit au développement de techniques de PEFT comme LoRA.

LoRA fonctionne en ajoutant un petit nombre de paramètres au modèle de base, en gelant les poids du modèle de base et en n'entraînant que ces quelques paramètres. Cette technique est très populaire, avec plus de 98% des cartes de modèles sur Hugging Face Hub qui mentionnent LoRA.

Analyse et Implications

Mais LoRA est-elle vraiment la meilleure technique ? Les résultats des recherches sont biaisés, car les chercheurs sont sous pression pour fournir des résultats qui battent les benchmarks existants. De plus, les comparaisons entre les différentes techniques de PEFT sont difficiles en raison de la variété des benchmarks et des codes utilisés.

C'est pourquoi il est important de fournir des benchmarks objectifs pour comparer les différentes techniques de PEFT. La bibliothèque PEFT de Hugging Face propose une solution en implementant de nombreuses techniques de PEFT derrière une API unifiée et en fournissant des benchmarks pour évaluer les performances de ces techniques.

Perspective

Les résultats des benchmarks montrent que d'autres techniques de PEFT peuvent battre LoRA sur certains axes, comme la consommation de mémoire ou la taille des checkpoints. Il est donc important de considérer ces alternatives pour améliorer les performances du fine-tuning.

En conclusion, bien que LoRA soit une technique de PEFT très populaire, il est important de considérer d'autres alternatives pour améliorer les performances du fine-tuning. Les benchmarks objectifs et la bibliothèque PEFT de Hugging Face peuvent aider les utilisateurs à prendre des décisions éclairées sur la technique de PEFT à utiliser.