Présentation de Harbor
Harbor, application en pré‑visualisation privée sous la marque Claris, propose de convertir un Mac équipé d’Apple silicon en serveur d’inférence d’intelligence artificielle. L’application télécharge et exécute des modèles à poids ouvert directement sur le matériel, garantissant que les données d’utilisateur restent confinées à l’appareil et ne transitent jamais vers le cloud.
Architecture et mécanismes de clustering
Le cœur du dispositif repose sur l’unified memory d’Apple silicon, où CPU, GPU et Neural Engine partagent un même pool de RAM, réduisant les copies de données et accélérant les calculs de matrice. Harbor détecte automatiquement les Macs compatibles Thunderbolt 5, établit un lien point‑à‑point et agrège leurs mémoires unifiées en une ressource d’inférence commune. La bande passante théorique de Thunderbolt 5 (jusqu’à 80 Gb/s) permet de transférer les tenseurs entre les nœuds avec un overhead minimal, ce qui rend possible l’exécution de modèles dont la taille dépasse la capacité d’un seul appareil.
Le processus d’assemblage du cluster se fait sans ligne de commande : l’application scanne les ports Thunderbolt, identifie les machines disponibles et crée un graphe de communication interne. Chaque nœud expose une API locale qui orchestre la répartition des requêtes en fonction de la disponibilité mémoire et du load du Neural Engine.
Implications en matière de confidentialité et de performances
En conservant l’ensemble du pipeline d’inférence sur le dispositif, Harbor élimine les vecteurs d’exposition liés aux transmissions réseau vers des services cloud. Cette approche répond aux exigences de conformité GDPR pour les données sensibles, car aucune donnée n’est exportée hors du périmètre matériel.
Sur le plan des performances, la combinaison de plusieurs Neural Engine (capables de plusieurs téra‑opérations par seconde) et de la mémoire unifiée permet d’augmenter le débit de requêtes simultanées. Le clustering Thunderbolt 5 réduit le temps de latence comparé à une architecture distribuée sur Ethernet, où les paquets subissent des sauts supplémentaires.
Limites et perspectives
Le modèle dépend de la disponibilité de Macs équipés de Thunderbolt 5, ce qui restreint l’adoption aux configurations récentes (MacBook Pro 2024, Mac Studio M3‑Ultra, etc.). La capacité maximale du cluster reste bornée par la somme des mémoires unifiées, typiquement 128 Go à 256 Go selon les modèles, ce qui peut être insuffisant pour les modèles de plusieurs centaines de gigaoctets.
Par ailleurs, l’absence d’une couche de gestion de ressources cloud empêche l’auto‑scaling dynamique en fonction de pics de charge. Future évolution pourrait inclure un support de protocoles de haute‑performance comme PCIe Gen5 ou l’intégration de logiciels de orchestration Kubernetes‑lite pour automatiser le scaling au sein d’un réseau local.
