Présentation du modèle
Le groupe DeepHat a publié sur Hugging Face un modèle baptisé Cyber‑OSINT destiné à être exécuté en local. La version principale repose sur une architecture Mixture‑of‑Experts (MoE) comptant 26 milliards de paramètres au total, dont 4 milliards actifs à chaque inférence. Le modèle accepte jusqu’à 262 000 tokens de contexte, ce qui dépasse largement les limites classiques des LLMs open‑source.
Architecture et spécifications techniques
Le modèle MoE utilise un routage dynamique pour activer seulement une fraction des poids (4 B) selon la requête, réduisant ainsi la charge mémoire et la latence. La capacité de contexte de 262 K tokens provient d’un entraînement sur des séquences longues, facilitant l’ingestion de rapports d’intelligence ou de bases de données d’indicateurs de compromission (IoC). En parallèle, DeepHat propose une version plus compacte de 7 milliards de paramètres, compatible avec un GPU de 8 Go. Cette déclinaison a été fine‑tuned sur des jeux de données cyber/DevOps, offrant un contexte natif de 32 K tokens, extensible à 131 K grâce à la technique YaRN (extrapolation de longueur).
Fonctionnalités d’enquête cyber
Le modèle a été entraîné sur 6 500 instructions spécifiques à l’OSINT et à la cyber‑threat intelligence (CTI). Le fine‑tuning supervise (SFT) cible plusieurs tâches : attribution d’acteurs menaçants, pivotement d’IoC, géolocalisation d’infrastructures, et notation de sources selon le cadre Admiralty. Chaque fonction repose sur des prompts spécialisés intégrés au modèle, éliminant le besoin d’un système de prompt externe. Cette approche permet d’obtenir des réponses structurées directement à partir du texte fourni, par exemple la génération d’un tableau d’attributs d’un groupe APT à partir d’un rapport public.
Implications et limites
La possibilité d’exécuter le modèle localement réduit la dépendance aux API cloud, limitant les fuites de données sensibles lors d’enquêtes. Cependant, la taille de 26 B paramètres impose des exigences matérielles importantes : même avec le routage MoE, un serveur équipé de plusieurs GPU haute‑mémoire reste nécessaire. La version 7 B, bien que plus accessible, conserve une capacité de contexte réduite, ce qui peut contraindre les analyses de dossiers volumineux. De plus, l’entraînement sur 6 500 instructions, bien que ciblé, ne garantit pas une couverture exhaustive des techniques d’attaque émergentes. Enfin, l’absence d’évaluations publiques (CVE, benchmarks) rend difficile la mesure objective de la précision d’attribution ou de la robustesse face à des inputs adversaires.
