PC‑ALM entraîne des réseaux résiduels de 1000 couches sans rétropropagation

Principe de PC‑ALM

PC‑ALM (Augmented Lagrangian Predictive Coding) reformule l’apprentissage comme un problème d’optimisation sous contraintes où chaque couche possède ses propres variables d’état et ses multiplicateurs de Lagrange. Au lieu d’un passage avant puis arrière synchronisé, chaque couche évolue dans le temps selon une dynamique locale jusqu’à convergence. Cette dynamique distribue le signal de supervision depuis la sortie jusqu’à l’entrée sans attendre que les couches précédentes aient terminé leur calcul.

Mécanisme local et contrôleur PI

Chaque couche introduit deux neurones : un neurone d’activation et un neurone dual (multiplicateur). Le couple forme un contrôleur proportionnel‑intégral (PI) qui ajuste l’état de la couche en fonction de l’erreur de prédiction et de l’accumulation de cette erreur. Dans le cas linéaire, les valeurs des neurones duals convergent exactement vers les gradients fournis par la rétropropagation, prouvant que le signal de crédit peut être reproduit avec uniquement des calculs voisins. Cette architecture évite le « phase locking » requis par le back‑prop, car aucune mise en attente globale n’est nécessaire.

Performances sur des réseaux très profonds

Les auteurs ont entraîné des MLP résiduels de 1000 couches, chaque couche contenant 64 à 128 neurones, sur les jeux de données Fashion‑MNIST et CIFAR‑10. Malgré la profondeur extrême, PC‑ALM atteint une précision comparable à celle obtenue avec la rétropropagation traditionnelle (écart inférieur à 1 % sur CIFAR‑10). Le système local résout le problème de décayage du signal observé avec le predictive coding standard : le facteur de pénalité quadratique (λ) augmente la propagation du crédit sans multiplier le coût computationnel par couche.

Limites et perspectives

PC‑ALM repose sur la convergence des dynamiques locales, ce qui impose un nombre d’itérations d’inférence proportionnel à la profondeur (≈ L × 10 itérations dans les expériences). Cette exigence peut ralentir l’entraînement sur du matériel non spécialisé. De plus, les expériences se limitent à des réseaux à petite largeur ; l’impact sur des architectures larges ou convolutives reste à démontrer. Néanmoins, la capacité à reproduire les gradients avec uniquement des communications de voisinage ouvre des pistes pour le matériel neuromorphique, où la simulation de systèmes dynamiques coûte moins cher que les opérations matricielles GPU.