INT8 ConvRot améliore les modèles d'IA

Présentation de INT8 ConvRot

INT8 ConvRot est une méthode de quantification et de modélisation d'IA qui utilise l'encodage INT8 et la méthode de quantification ConvRot. Cette méthode a été introduite dans ComfyUI v0.27.0 et offre de meilleures performances que les formats FP8 et FP8 Scaled sur les séries GeForce RTX 40/50.

Classification des méthodes et formats de modélisation

Les modèles d'IA sont généralement modélisés en FP32, mais pour réduire la taille des fichiers, ils sont convertis en 16-bit, 8-bit ou 4-bit. La méthode de quantification et le format de stockage utilisés peuvent impacter la précision et les performances du modèle.

$$
   ?egin{array}
   {l|l|l}
   ?f{階層} & ?f{例} & ?f{役割} \
   hline
   	ext{ファイル形式} & 	ext{safetensors, GGUF,} & 	ext{保存するコンテナ} \
   & 	ext{ONNX} & \
   hline
   	ext{符号化方式} & 	ext{FP16, BF16,} & 	ext{数値をbit列で表現する方法} \
   & 	ext{INT8, FP8, FP4} & \
   hline
   	ext{スケーリング} & 	ext{なし, Tensor-wise,} & 	ext{値の範囲を調整する方法} \
   	ext{方式} & 	ext{Row-wise} & \
   hline
   	ext{量子化方式} & 	ext{RTN, AWQ,} & 	ext{低精度へ変換するアルゴリズム} \
   & 	ext{GPTQ, ConvRot} & \
   end{array}
   $$

Fonctionnement de INT8 ConvRot

INT8 ConvRot utilise la méthode de convolution et de rotation pour répartir les valeurs aberrantes sur plusieurs dimensions, ce qui permet d'améliorer la précision et les performances du modèle. Cette méthode peut être combinée avec des types FLOAT ou INT.

Utilisation de INT8 ConvRot

INT8 ConvRot peut être utilisé dans ComfyUI ou Forge Neo. Il est recommandé d'installer Triton et de mettre à jour les pilotes Nvidia et PyTorch pour obtenir les meilleures performances.