Principe de l’algorithme
Le démonstrateur utilise un agent virtuel – le « spark » – doté de quatre neurones : deux capteurs lumineux et deux effecteurs de nage. Le réseau se résume à trois poids : la connexion ipsilatérale, la connexion croisée et le paramètre de vitesse (drive). À chaque essai, les trois poids sont modifiés aléatoirement d’une petite amplitude. Si le score de l’essai dépasse le meilleur précédent, le système applique une récompense en conservant le vecteur de variation ; sinon il applique une punition en inversant la direction du vecteur. Cette règle constitue une forme de recherche stochastique guidée par un signal de récompense, analogue à la méthode REINFORCE de l’apprentissage par renforcement.
Mécanique du paramétrage et trajectoires
Les trois poids définissent un point dans un espace cubique à trois dimensions. En visualisant chaque essai comme un déplacement dans ce cube, on obtient une trajectoire d’apprentissage. Après 50 essais, le spark passe d’un état où il tourne sur place à un état capable de se déplacer. À 250 essais, il atteint une vitesse notable mais dévie de la source lumineuse. À 500 essais, il converge vers la lumière mais ne maîtrise pas encore l’arrêt. Enfin, après 2 000 essais, il suit la lumière de façon stable, même lorsqu’elle se déplace. Ces jalons illustrent la progression non linéaire du paramètre de contrôle, chaque phase étant marquée par un changement qualitatif du comportement.
Analyse des performances et limites
Le processus repose exclusivement sur des perturbations aléatoires, sans calcul de gradient analytique. La convergence observée après 2 000 essais montre que, pour un espace de paramètres de dimension trois, le bruit suffit à explorer efficacement les configurations utiles. Cependant, l’échantillonnage aléatoire devient rapidement prohibitif dès que la dimension du réseau augmente. Un réseau biologique typique possède ~86 milliards de neurones et >10¹⁴ synapses ; l’exploration exhaustive de cet espace serait impossible. De plus, le signal de récompense est binaire (score > 0,5) et ne fournit aucune information sur la direction du gradient, ce qui ralentit l’apprentissage dans des environnements plus complexes.
Analogies biologiques
Le même principe de variation aléatoire suivie de renforcement dopaminergique apparaît chez les oisillons qui babillent pour affiner leur chant. Chaque vocalisation erronée entraîne une diminution de dopamine, chaque amélioration une augmentation, guidant ainsi la convergence vers le chant adulte. Le spark reproduit ce mécanisme à une échelle réduite, démontrant que le même algorithme de base peut générer des comportements divers – fuite, gel ou charge – selon la fonction de récompense assignée. Cette analogie souligne que l’apprentissage par renforcement ne dépend pas de la complexité du substrat, mais de la structure du signal de récompense et de la capacité à explorer l’espace des politiques.
