Exécution de LLMs locaux hors ligne pendant un vol de 10 heures

Introduction

Un vol de 10 heures sans Wi-Fi a été l'occasion de tester les capacités d'un MacBook pour exécuter des tâches d'ingénierie avec des LLMs (Local Language Models) locaux. Le but était de voir jusqu'où un ordinateur portable moderne pouvait aller sans connexion Internet.

Contexte Technique

Le setup utilisé comprenait un MacBook Pro M5 Max avec 128 Go de mémoire unifiée et un GPU 40 cœurs. Les modèles de LLM utilisés étaient Gemma 4 31B et Qwen 4.6 36B via LM Studio. Les outils utilisés incluaient des images Docker, des langages de programmation et des dépendances pour construire des sites avec des visualisations riches.

Les tâches effectuées incluaient la création d'un outil d'analyse de facturation couvrant deux ans de dépenses cloud de loveholidays, utilisant DuckDB et une interface utilisateur personnalisée. Les résultats ont montré des modèles et des corrélations qui étaient difficiles à découvrir avec les tableaux de bord standard.

Analyse et Implications

Les limites rencontrées incluaient la consommation d'énergie, la chaleur et le contexte. La consommation d'énergie était d'environ 1% de la batterie par minute sous charge soutenue, même lorsque l'ordinateur était branché. La chaleur était également un problème, avec un chassis qui chauffait à 70-80W sous charge soutenue.

Les résultats ont également montré que les LLMs locaux peuvent être viables pour un sous-ensemble significatif de tâches d'ingénierie, telles que la programmation à portée limitée, les outils d'exploration et les tâches qui ne justifient pas le coût de l'inférence cloud. Cependant, les tâches qui nécessitent une intelligence de pointe, des flux de travail agents et des tâches à haute valeur doivent toujours être effectuées dans le cloud.

Perspective

Les prochaines étapes incluent de tester les modèles de LLM plus petits alimentés par le Neural Engine pour leur utilité, leur vitesse et leur consommation d'énergie. De plus, il est important de surveiller les limites et les prochaines étapes de l'exécution de LLMs locaux hors ligne, notamment en termes de consommation d'énergie, de chaleur et de contexte.