Introduction
La génération de modèles 3D à partir d'images est une tâche complexe qui nécessite des ressources informatiques importantes. Récemment, une version de TRELLIS.2, un modèle d'apprentissage automatique de pointe, a été portée sur les Mac équipés de processeurs Apple Silicon, permettant ainsi la génération de modèles 3D sans nécessiter de carte graphique NVIDIA.
Contexte Technique
Le portage de TRELLIS.2 sur Apple Silicon a nécessité de remplacer les bibliothèques CUDA-only par des alternatives pure-PyTorch et pure-Python. Les appels à .cuda() ont été patchés pour utiliser l'appareil actif, permettant ainsi l'exécution sur les Mac équipés de processeurs Apple Silicon. Les principaux composants qui ont été modifiés incluent la convolution 3D creuse, l'extraction de maillage et l'attention.
La convolution 3D creuse a été implémentée en utilisant une hash spatiale des voxels actifs, en rassemblant les caractéristiques des voisins pour chaque position du noyau, en appliquant les poids via une multiplication matricielle et en ajoutant les résultats de manière éparse. Les cartes de voisins sont mises en cache par tenseur pour éviter les calculs redondants.
Analyse et Implications
Les performances de cette version de TRELLIS.2 sur les Mac équipés de processeurs Apple Silicon sont prometteuses, avec la capacité de générer des maillages de plus de 400 000 sommets à partir d'une seule image en environ 3,5 minutes sur un M4 Pro. Cependant, il est important de noter que cette version a certaines limitations, notamment l'absence d'exportation de textures et de remplissage de trous, ainsi qu'une vitesse d'exécution plus lente que la version CUDA.
Les implications de cette avancée sont importantes, car elles ouvrent la voie à de nouvelles applications de la génération de modèles 3D à partir d'images sur les appareils Apple, sans nécessiter de matériel spécialisé. Cependant, il est essentiel de prendre en compte les limitations et les risques potentiels liés à l'utilisation de ces technologies, notamment en ce qui concerne la sécurité et la confidentialité des données.
Perspective
À l'avenir, il sera important de surveiller les progrès réalisés dans le domaine de la génération de modèles 3D à partir d'images, notamment en ce qui concerne les améliorations des performances et la résolution des limitations actuelles. Il faudra également veiller à ce que ces technologies soient utilisées de manière responsable et éthique, en tenant compte des implications potentielles sur la société et les individus.
