Présentation
Ce texte, publié sur arXiv sous le titre The Little Book of Generative AI Foundations, se veut une introduction compacte et orientée dérivation aux fondements mathématiques de l’intelligence artificielle générative. Il ne prétend pas recenser chaque architecture récente ni détailler les implémentations logicielles ; il propose plutôt un fil conducteur qui relie les modèles majeurs à travers leurs équations sous‑jacentes. Le public visé comprend les chercheurs, les praticiens et les étudiants qui souhaitent maîtriser les concepts avant de passer à la programmation.
Contenu et approche mathématique
Le livre débute avec l’analyse en composantes principales (PCA) puis introduit la version probabiliste (probabilistic PCA), illustrant comment la réduction de dimension s’interprète comme un modèle latent gaussien. Il poursuit avec les auto‑encodeurs variationnels (VAE), où la fonction de perte se décompose en un terme de vraisemblance et un terme de divergence KL, montrant la première utilisation explicite de la variation bayésienne dans les réseaux. Les modèles de diffusion sont ensuite traités comme des processus de bruit stochastique décrits par des équations différentielles stochastiques, reliant la génération à la résolution d’une équation de Fokker‑Planck. Les normalising flows sont présentés comme des transformations inversibles dont le jacobien permet de calculer exactement la densité de probabilité. Le texte aborde ensuite les factorisations autoregressives, qui exploitent la règle de chaîne pour factoriser la distribution jointe en produit de conditionnels simples. Les GANs sont étudiés à travers le jeu min‑max entre générateur et discriminateur, suivi d’une extension aux Wasserstein GANs où la distance de Wasserstein remplace la divergence de Jensen‑Shannon, améliorant la stabilité du gradient. Enfin, les modèles basés sur l’énergie (energy‑based models) sont décrits comme des fonctions d’énergie non normalisées, nécessitant des techniques de Monte‑Carlo pour l’estimation de la partition.
Analyse des apports et limites
En structurant ces modèles autour de leurs dérivations, le livre révèle des points de convergence souvent négligés : la présence d’un espace latent, la nécessité d’une fonction de coût différentiable et le rôle des distributions de probabilité explicites ou implicites. Cette perspective facilite la comparaison entre architectures et prépare le lecteur à concevoir des hybrides. Cependant, l’absence de sections pratiques – code, jeux de données, benchmarks – limite l’applicabilité immédiate pour les développeurs. De plus, les architectures les plus récentes (transformers diffusion, diffusion latente, modèles de diffusion guidés) ne sont pas couvertes, ce qui peut rendre le texte partiellement obsolète face à l’évolution rapide du domaine. Enfin, en tant que prépublication non évaluée par les pairs, le contenu doit être confronté à la littérature académique pour vérifier la rigueur des démonstrations.
