Contexte et objectifs

Le modèle Qwen3‑4B a été retravaillé sous le nom deslop‑v4 afin de réduire les habitudes stylistiques typiques des IA, mesurées par un détecteur de style. Ce détecteur compte des motifs comme les tirets cadratins, les constructions « c’est pas X, c’est Y », les listes de trois éléments ou les questions rhétoriques, et attribue un score pondéré par 1000 mots. Le modèle de référence obtenait 121, alors que l’objectif était de descendre sous 15 sans sacrifier la pertinence des réponses.

Méthodologie de distillation et ajustements

Le processus s’appuie sur deux leviers : un LoRA adapter de 126 Mo et une modification neuronale ciblée. Cette dernière consiste en une liste de 175 octets décrivant quatre colonnes de poids et leurs échelles, identifiées comme responsables de la tournure « not X, but Y ». En appliquant ces quatre ajustements, le modèle a éliminé 70 % de ce motif avec un impact négligeable sur les autres habitudes.

La distillation s’est déroulée en deux cycles. Le premier cycle a utilisé un enseignant construit à partir des meilleures réponses (score ≈ 20) et a entraîné le LoRA sur 288 invites, ne conservant que les réponses qui passaient les contrôles de « damage » et de conformité aux consignes. Le second cycle a intégré le patch neuronal et un prompt « plain‑style », atteignant un score enseignant de 7,4 et un étudiant de 9,9. Après un filtrage supplémentaire (seules les réponses avec un score < 12 et conformes aux règles) 30 % des 288 prompts (soit 161 réponses) ont été retenues pour le modèle final, qui affiche un score moyen de 12,5.

Évaluation quantitative

Les tests portent sur 40 invites tenues hors‑ensemble, réparties sur quatre genres. Le modèle final conserve 80 % de pertinence fonctionnelle (comparé à 78 % du modèle de base) tout en réduisant les jointures « , which » de 1,4 à 0,3 pour 100 mots. Les inventions de références (études, pourcentages) ont presque disparu, bien que la création de noms propres persiste.

Un jeu de 22 passages de prose humaine a servi à mesurer le « drift », c’est‑à‑dire l’écart des prédictions par rapport au modèle d’origine. Aucun chiffre exact n’est fourni, mais le texte indique que le drift a été contrôlé via les vérifications de casse et de cohérence de sujet.

Déploiement et limites

ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M

Le binaire quantifié (Q4_K_M, 2,5 Go) s’exécute sur un MacBook Air via Ollama ou llama-cli. En pleine précision, le modèle se charge avec la bibliothèque transformers :

from transformers import AutoModelForCausalLM, AutoTokenizer
name = "erikkannike/qwen3-4b-deslop-v4"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, torch_dtype="auto")
msgs = [{"role": "user", "content": "Write a LinkedIn post about switching to a four-day week."}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt")
out = model.generate(ids, max_new_tokens=300, do_sample=True, temperature=0.7)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

Les tests restent limités à de courts textes anglais. Aucun résultat n’est présenté pour le code, les longues conversations, d’autres langues ou l’usage d’outils externes. De plus, le score repose sur des expressions régulières et n’a pas été validé par un test aveugle auprès de lecteurs humains, ce qui pourrait affecter la généralisation des conclusions.