Statistical models dominent en linguistique grâce à l’apprentissage probabiliste

Contexte historique

Depuis les années 1950, les chercheurs en linguistique ont progressivement adopté les modèles probabilistes introduits par Claude Shannon. Shannon proposait des chaînes de Markov de second ordre où la probabilité d’un mot dépendait des deux mots précédents. Avec un vocabulaire de 100 000 mots, le nombre de paramètres nécessaires s’élève à 10¹⁵, un volume impossible à estimer manuellement. Cette contrainte a conduit à l’apprentissage à partir de larges corpus et à l’utilisation de techniques de lissage pour combler les cases vides.

Modélisation probabiliste et exigences de données

Le calcul de ces 10¹⁵ valeurs repose sur la collecte massive de statistiques textuelles. Un modèle entraîné ainsi peut être exprimé par la formule suivante, extraite du texte source :

vocab = 100000
order = 2
parameters = vocab ** (order+1)  # 10^15

Cette approche contraste avec les modèles déterministes, comme la loi de Newton F = G * m1 * m2 / r^2, qui repose sur des équations continues et quantitatives. En linguistique, les modèles traditionnels classifient les mots de façon binaire (verbe ou non), sans nuance de probabilité.

Comparaison avec les modèles déterministes

Le texte illustre la différence d’insight entre une règle mnémotechnique (« I before E except after C ») et son équivalent probabiliste. Les probabilités observées sont :

P(IE) = 0.0177
P(CIE) = 0.0014
P(*IE) = 0.163
P(EI) = 0.0046
P(CEI) = 0.0005
P(*EI) = 0.0041

En combinant ces valeurs, on obtient une précision de 79,3 % pour la règle « I before E », contre 75,3 % pour la version « except after C ». Un modèle plus fin, incluant toutes les séquences de quatre lettres, pourrait multiplier cette précision par dix, mais il ne fournirait pas d’explication linguistique sur les phonèmes ou l’étymologie.

Implications et limites

Les modèles statistiques dominent aujourd’hui parce qu’ils offrent les meilleures performances empiriques, comme le montre le passage du texte où l’auteur décrit le basculement de 14 ans de règles logiques vers les approches probabilistes, inspirées par Gene Charniak et Judea Pearl. Sur le plan économique, les technologies dérivées de la théorie de Shannon génèrent plusieurs billions de dollars de revenus annuels, contre moins d’un milliard pour les dérivés des théories chomskyennes. Cependant, la supériorité statistique ne garantit pas une compréhension conceptuelle : les modèles restent des approximations qui masquent la complexité sous‑jacente, comme le montre l’exemple de la loi des gaz parfaits, où P = N k T / V résume l’incertitude sur les mouvements moléculaires. Ainsi, la tension entre performance et insight persiste, et les futures recherches devront concilier précision prédictive et explicabilité.