Présentation
Les mini PC peuvent exécuter des modèles de 70 milliards de paramètres que les grandes cartes graphiques ne peuvent pas, en raison de la mémoire unifiée. Cette technologie permet de partager la même mémoire entre le CPU, le GPU et le NPU, éliminant ainsi la limite de la VRAM.
Fonctionnement de la mémoire unifiée
La mémoire unifiée permet de partager la même mémoire entre le CPU, le GPU et le NPU, ce qui signifie qu'il n'y a pas de VRAM séparée pour le GPU. Cela signifie que presque toute la mémoire peut être utilisée pour exécuter un modèle, ce qui explique pourquoi les mini PC peuvent exécuter des modèles plus grands que les cartes graphiques.
Implications et limites
La capacité de la mémoire et la bande passante sont les deux facteurs clés qui déterminent les performances d'un système pour les modèles de langage. Les mini PC ont une grande capacité de mémoire, mais une bande passante limitée, ce qui les rend lents pour les tâches de génération de texte. Les cartes graphiques, en revanche, ont une bande passante élevée, mais une capacité de mémoire limitée.
Performances et optimisations
Les performances des mini PC peuvent être améliorées en utilisant des modèles de type Mixture-of-Experts, qui nécessitent moins de mémoire pour fonctionner. Cependant, les mini PC sont toujours limités par leur bande passante pour les tâches de génération de texte. De plus, les mini PC ont des temps de traitement de prompt plus longs en raison de leur faible puissance de calcul, ce qui peut rendre l'expérience utilisateur moins fluide.
