Neural textures sont optimisées sans rétropropagation via Evolution Strategies

Contexte et objectifs

Le dépôt publié le 4 septembre 2026 introduit une chaîne complète de compression de textures neuronales et de cartes de matériaux PBR. L’objectif principal est de remplacer les pipelines classiques basés sur la rétropropagation par une approche dérivée‑free, afin de réduire la dépendance aux gradients et de faciliter l’intégration dans des environnements où le calcul différentiel est limité, comme les moteurs de jeu temps réel ou les pipelines de rendu en ligne.

Méthodologie Evolution Strategies

Evolution Strategies (ES) constitue le cœur de la méthode. Au lieu de calculer le gradient du loss, ES génère une population de paramètres latents, les évalue sur une fonction de coût qui mesure la différence entre la texture cible et la sortie du réseau, puis met à jour la distribution de recherche en fonction des scores. Cette procédure est explicitement mentionnée dans le README comme « derivative‑free neural texture optimization ». Le processus s’applique à la fois aux réseaux de texture (neural texture compression) et aux cartes de matériaux PBR (neural material compression), permettant d’ajuster les poids sans backpropagation.

Le pipeline comprend plusieurs étapes : génération d’un vecteur latent, décodage via un réseau convolutionnel, quantisation consciente (quantization‑aware neural texture training) et encodage en format block‑compressed (BC). La quantisation consciente intègre la perte de précision due à la compression BC directement dans la fonction de coût, ce qui contraint le réseau à produire des sorties compatibles avec les formats de texture standards.

Analyse des performances et limites

Les auteurs rapportent que la stratégie ES converge en moins de 200 itérations pour des textures de 256 × 256 px, avec un taux de compression atteignant 8 bits par pixel tout en conservant une différence moyenne de 0,02 % sur les métriques PSNR. Cette performance découle de l’optimisation en domaine compressé, où chaque échantillon de la population est évalué après quantisation, évitant ainsi le sur‑ajustement aux valeurs flottantes non réalisables en production.

Cependant, l’absence de gradients implique un coût computationnel proportionnel à la taille de la population. Sur un GPU RTX 4090, le temps moyen par itération est de 0,45 s, ce qui reste supérieur aux méthodes basées sur la rétropropagation optimisées pour le même matériel. De plus, la méthode dépend fortement de la définition de la fonction de coût ; des critères inadaptés peuvent conduire à des artefacts visuels dans les zones à haute fréquence.

En termes de portabilité, le fait que l’optimisation se déroule entièrement dans le domaine compressé facilite l’intégration dans les pipelines de rendu qui ne supportent pas les opérations différentielles, mais limite la capacité à exploiter des techniques avancées de régularisation qui nécessitent des gradients explicites.