Introduction

L'exécution d'IA sur un ordinateur personnel sans carte graphique (GPU) peut sembler être un défi. Cependant, avec les bons outils et une configuration appropriée, il est possible de faire fonctionner des modèles d'IA localement sur un processeur central (CPU) de manière efficace.

Contexte Technique

Pour commencer, nous avons utilisé le système d'exploitation Arch Linux x86_64, avec une configuration matérielle composée d'un processeur Intel Core i5-7200U, d'une carte graphique Intel HD Graphics 620 intégrée et de 7,61 Gio de mémoire vive. L'outil Ollama a été utilisé pour exécuter les modèles d'IA localement.

La première étape a consisté à installer Ollama en utilisant le script d'installation fourni, puis à configurer le stockage des modèles pour éviter les erreurs de disque plein. Ensuite, nous avons téléchargé et géré différents modèles, notamment Tinyllama, llama3.2:3b et llama3.2:1b, chacun ayant des tailles et des capacités différentes.

Analyse et Implications

L'exécution de ces modèles a nécessité une optimisation de la configuration du système pour gérer les ressources CPU et thermiques efficacement. Nous avons utilisé des outils tels que htop pour surveiller l'utilisation du CPU et lm_sensors pour contrôler la température. L'optimisation a impliqué le réglage de la fréquence du CPU pour maximiser les performances, la réduction de la latence et la stabilisation du comportement thermique.

Les défis incluent la faible parallélisation, le freinage thermique, les inefficacités de planification du système d'exploitation et les paramètres d'économie d'énergie qui limitent les performances. Pour y remédier, nous avons installé cpupower et tuned pour ajuster la fréquence du CPU et appliquer un profil de performances pour améliorer les résultats.

Perspective

Les résultats montrent que, même sans GPU, il est possible d'exécuter des modèles d'IA localement sur un CPU de manière efficace, en optimisant soigneusement la configuration du système. Cela ouvre des perspectives pour les utilisateurs qui souhaitent explorer les capacités de l'IA sans dépendre d'un matériel spécialisé. Cependant, il est important de surveiller les limites de cette approche, notamment en termes de performances et de consommation d'énergie, pour une utilisation durable et efficiente.