Amélioration de la catégorisation de questions avec un LLM local

Introduction

L'amélioration de la catégorisation de questions avec un modèle de langage local (LLM) est un défi important pour les applications de chatbot. Dans cet article, nous explorons les résultats de l'ajustement fin d'un LLM local, Qwen 3:0.6B, pour catégoriser des questions liées à des sujets ménagers.

Contexte Technique

Le projet utilise deux LLM locaux, Qwen 3:4B et Qwen 3:0.6B, pour respectivement répondre à des questions générales et catégoriser des questions. Le framework open-source Unsloth est utilisé pour l'ajustement fin du modèle. La base de données initiale comprend environ 850 entrées, réparties en 70% pour l'entraînement, 15% pour l'évaluation et 15% pour les tests.

Analyse et Implications

Les résultats montrent que le modèle de base Qwen 0.6B a une précision de seulement 10% pour la catégorisation de questions. Cependant, après ajustement fin, la précision augmente à 79%, puis à 92% après une deuxième itération avec des modifications mineures de l'approche d'ajustement fin. Les résultats démontrent l'importance de l'ajustement fin pour améliorer la précision de la catégorisation de questions avec un LLM local.

Perspective

Les résultats de cette expérience sont prometteurs pour l'utilisation de LLM locaux dans les applications de chatbot. Cependant, il est important de noter que des défis persistent, tels que la confusion entre les catégories sémantiquement proches. Des travaux futurs devraient se concentrer sur l'amélioration de la nuance des données d'entraînement et l'exploration de méthodes d'ajustement fin plus avancées pour résoudre ces problèmes.