Méthodologie d'analyse

Les chercheurs ont nettoyé les sous‑titres de huit séries anime, supprimé les chants, les balises et les répétitions, puis découpé les lignes en mots à l’aide du tokenizer japonais Sudachi (version 0.6.11, dictionnaire SudachiDict‑core 20260428, mode C). Le script Python, exécuté sous Python 3.13.7, conserve la forme dictionnaire des mots, exclut la ponctuation, les noms propres, les nombres et les interjections définies dans un fichier fillers.txt. Après filtrage, seules les 3 000 premières lignes contenant au moins un mot sont conservées pour chaque série.

# pip install sudachipy sudachidict_core
# lines.txt: one subtitle line per row, in episode order, songs and repeats removed
# fillers.txt: your own list of sounds not to count, one per row
from collections import Counter
from sudachipy import Dictionary, SplitMode
import re
tok = Dictionary().create()
fillers = set(open("fillers.txt", encoding="utf-8").read().split())
def words(line):
    out = []
    for m in tok.tokenize(line, SplitMode.C):
        pos = m.part_of_speech()
        if pos[0] in ("補助記号", "空白", "記号"): continue   # punctuation
        if pos[1] in ("固有名詞", "数詞"): continue           # names, numbers
        if not re.search(r"[0-9A-Za-zぁ-ヿ一-鿿々]", m.surface()): continue
        if m.surface() in fillers and pos[0] in ("感動詞", "副詞", "名詞"): continue
        out.append(m.dictionary_form())
    return out
lines = [words(l.strip()) for l in open("lines.txt", encoding="utf-8")]
lines = [l for l in lines if l][:3000]   # the first 3,000 lines with a real word
count = Counter(w for line in lines for w in line)
known = {w for w, _ in sorted(...)}

Couverture et lignes comprises

Pour la série Frieren, connaître les 500 mots les plus fréquents représente 85,9 % de la fréquence totale des mots (la « couverture »). Cependant, seules 1 151 des 3 000 premières lignes (soit 38,4 %) sont entièrement comprises, chaque ligne contenant en moyenne 7 mots. Le calcul théorique 0,859⁷ ≈ 0,35 confirme la mesure empirique, montrant que la probabilité de connaître tous les mots d’une ligne diminue exponentiellement avec la longueur de la ligne.

Variabilité selon les séries

Les huit anime étudiés affichent tous un écart similaire entre couverture et lignes comprises. Serial Experiments Lain atteint la plus haute couverture avec 95 % après 1 191 mots, mais ne permet de suivre que 77,5 % des lignes. À l’inverse, Jujutsu Kaisen nécessite 980 mots pour atteindre la moitié des lignes. Lorsque le nombre de mots passe de 500 à 1 000, la couverture n’augmente que de 6,5 points, alors que les lignes comprises progressent de 22,1 points, car chaque nouveau mot supprime souvent le dernier obstacle d’une ligne.

Limites et interprétations

Une proportion importante des lignes manquantes (de 50,2 % à 63,9 % selon les séries) ne manque qu’un seul mot, mais ces mots sont très dispersés : 804 mots différents sont responsables de 1 042 lignes manquantes dans Frieren, le mot le plus fréquent ne couvrant que quatre lignes. L’étude utilise des listes de mots propres à chaque série ; appliquer les 2 000 mots les plus courants du japonais général ne permet de comprendre que 23,4 % à 37,6 % des lignes, contre 74,3 % à 93,3 % avec les listes spécifiques. Enfin, la polysemy (mots à plusieurs sens) gonfle les chiffres : un mot connu peut être compris dans un contexte mais pas dans un autre, ce qui rend les pourcentages de lignes comprises légèrement surestimés.