Introduction

L'article présente les étapes pour installer et configurer Ollama et le modèle Gemma 4 26B sur un Mac mini équipé d'un processeur Apple Silicon (M1/M2/M3/M4/M5) et d'au moins 24 Go de mémoire unifiée. Cette configuration permet d'utiliser le framework MLX d'Apple pour des inférences plus rapides.

Contexte Technique

Pour commencer, il est nécessaire d'installer l'application Ollama via Homebrew cask, ce qui inclut les mises à jour automatiques et le backend MLX. La commande brew install --cask ollama-app installe l'application et le CLI. Ensuite, il faut télécharger le modèle Gemma 4 26B en utilisant la commande ollama pull gemma4:26b, ce qui prend environ 17 Go d'espace disque.

Il est également important de configurer le lancement automatique d'Ollama au démarrage du système et de créer un agent de lancement pour charger le modèle en mémoire après le démarrage d'Ollama. Cela peut être réalisé en créant un fichier com.ollama.preload-gemma4.plist dans le répertoire ~/Library/LaunchAgents/ et en chargeant l'agent avec la commande launchctl load.

Analyse et Implications

L'utilisation d'Ollama avec le modèle Gemma 4 26B offre plusieurs avantages, notamment une utilisation réduite de la mémoire grâce au réutilisation du cache entre les conversations et une éviction plus intelligente des anciennes branches. De plus, Ollama prend en charge le format NVFP4 de NVIDIA, ce qui permet de maintenir la précision des modèles tout en réduisant les besoins en bande passante et en espace de stockage pour les charges de travail d'inférence.

Cependant, il est important de noter que le modèle Gemma 4 26B utilise environ 20 Go de mémoire lorsqu'il est chargé, laissant environ 4 Go pour le système sur un Mac mini avec 24 Go de mémoire. Il est donc recommandé de fermer les applications gourmandes en ressources avant de lancer Ollama.

Perspective

À l'avenir, il sera important de surveiller les mises à jour d'Ollama et les nouveaux modèles de langage pour profiter des dernières améliorations en matière de rapidité et de précision. De plus, la prise en charge du format NVFP4 de NVIDIA ouvre des perspectives pour l'utilisation d'Ollama dans des environnements de production, permettant aux utilisateurs de partager les mêmes résultats qu'en environnement de production.