Présentation du contexte
Le conseiller scientifique de la Maison Blanche, Michael Kratsios, a déclaré que Moonshot, l'entreprise chinoise derrière le modèle de langage Kimi K3, a construit son modèle en copiant le modèle de langage Fable d'Anthropic, tout en utilisant des puces non autorisées à l'exportation vers la Chine.
Architecture et fonctionnement
Les experts sont sceptiques quant à l'idée que la distillation, le processus de requête d'un modèle de langage pour déterminer ses mécanismes internes et copier ses capacités, soit responsable des capacités avancées du Kimi K3. La distillation nécessite un laboratoire pour interroger systématiquement le modèle cible afin de générer des données pouvant être utilisées pour une formation postérieure.
Exemple de distillation :
model_input = "Quel est le sens de la vie ?"
model_output = "Le sens de la vie est de trouver le bonheur."
Implications et limites
Les avantages de la formation supervisée sont devenus moins importants à mesure que les modèles deviennent plus complexes. Pour distiller des capacités similaires à celles de Fable, il faudrait probablement utiliser des techniques d'apprentissage par renforcement. Cela nécessite souvent un agent du modèle plus grand pour noter les réponses du modèle plus petit et ajuster en fonction de la note.
Les experts estiment que les équipes chinoises ont une expertise technique sous-estimée et que leur progrès ne s'arrêterait pas même si les modèles américains cessaient de progresser. La ligne entre la distillation et le développement de jeux de données synthétiques est floue, et il est difficile de distinguer la distillation de l'accès à des puces avancées comme les Nvidia Chips Grace Blackwell 300.
