Contexte et objectifs
Le modèle 3D TRELLIS.2 propose une représentation latente unifiée capable de générer des maillages dans différents formats (GLB, PLY) via des décodeurs dédiés. Malgré cette flexibilité, le modèle pré‑entraîné montre des imprécisions sur des catégories spécifiques, comme la forme des semelles de chaussures. L’article décrit l’utilisation d’un sous‑ensemble de Google Scanned Objects (GSO) contenant 188 chaussures (sur 1 030 objets) pour adapter le modèle à cette tâche.
Architecture de TRELLIS.2 et points de réglage
TRELLIS.2 se compose de cinq étapes : suppression du fond (BiRefNet), encodage d’image (DINOv3‑L), flux de structure dense (sparse‑structure flow DiT), flux de forme (shape flow DiT) et flux de texture (texture flow DiT). Le flux de structure dense produit un latent de taille 16³ × 8, décodé par un VAE en une grille d’occupancy 64 × 64 × 64. Le format interne O‑Voxel conserve uniquement les voxels situés sur la surface, ce qui représente environ 10 % du volume total et accélère le calcul. Le flux de forme transforme ensuite ce latent en une grille O‑Voxel de résolution 512 × 512 × 512. Le flux de texture génère les cartes de couleur, métal, rugosité et alpha, mais n’est pas adapté à l’entraînement car le jeu de données ne fournit que des cartes de couleur diffusées contenant un éclairage intégré.
Mise en œuvre du LoRA
Le Low‑Rank Adaptation (LoRA) ajoute de petites matrices d’adaptateurs aux couches ciblées tout en maintenant les poids d’origine gelés, réduisant ainsi le nombre de paramètres entraînables et la consommation de mémoire. À l’aide de la bibliothèque PEFT de Hugging Face, les auteurs insèrent des adaptateurs de rang 8 dans les couches d’attention et de MLP du sparse‑structure flow DiT, et des adaptateurs de rang 16 dans les couches d’attention du shape flow DiT. Au total, 9,3 millions de paramètres d’adaptateur sont entraînés, ce qui est nettement inférieur aux centaines de millions requis pour un fine‑tuning complet.
Résultats et limites
Les expériences initiales montrent que le modèle de base génère des chaussures visuellement correctes mais avec des semelles mal définies. Après l’ajout des adaptateurs LoRA, la géométrie des semelles s’aligne davantage avec les références du jeu de données, confirmant que le ciblage des flux de forme et de structure est efficace. Le gel du flux de texture évite le phénomène d’oubli catastrophique, qui aurait pu dégrader la qualité des couleurs et des matériaux déjà satisfaisante. Cependant, la petite taille du sous‑ensemble (188 objets) limite la généralisation : les améliorations observées concernent principalement les chaussures similaires à celles du jeu d’entraînement. De plus, l’absence de cartes de matériaux séparées empêche toute optimisation du rendu de surface, ce qui reste une contrainte pour des applications nécessitant des propriétés physiques précises.
