Introduction
Manticore a récemment amélioré les performances de son système d'embedding en utilisant le format ONNX (Open Neural Network Exchange) pour les modèles de machine learning. Cette amélioration a permis d'augmenter les performances de traitement des données de manière significative.
Contexte Technique
Le système d'embedding de Manticore utilisait précédemment le framework SentenceTransformers sur le runtime Candle de Hugging Face. Cependant, ce système présentait des limitations en termes de performances, en particulier en ce qui concerne la gestion de la concurrence et le traitement des données en parallèle. Pour résoudre ces problèmes, Manticore a décidé de passer au format ONNX, qui permet une meilleure optimisation des modèles de machine learning et une meilleure gestion de la concurrence.
Le format ONNX est un format ouvert pour les modèles de machine learning qui permet de partager et de déployer des modèles entre différentes plateformes. Il est soutenu par la plupart des frameworks de machine learning populaires, y compris TensorFlow, PyTorch et Scikit-learn. Le format ONNX permet également de bénéficier de l'optimisation des modèles de machine learning, telle que la fusion de graphes, la réduction des constantes et l'auto-ajustement des noyaux.
Analyse et Implications
Les résultats des tests ont montré que le nouveau système d'embedding basé sur ONNX est environ 14 fois plus rapide que le système précédent basé sur SentenceTransformers et Candle. Cette amélioration des performances est due à la meilleure gestion de la concurrence et au traitement des données en parallèle offerts par le format ONNX.
Les tests ont également montré que le nouveau système d'embedding peut gérer une charge de travail élevée sans perte de performances. En effet, le système peut traiter jusqu'à 233 documents par seconde avec une charge de travail élevée, ce qui est nettement supérieur aux 5-11 documents par seconde du système précédent.
Perspective
Le passage au format ONNX pour les modèles de machine learning ouvre de nouvelles perspectives pour l'amélioration des performances et la gestion de la concurrence dans les systèmes d'embedding. Les futurs développements pourraient inclure l'optimisation des modèles de machine learning pour les applications spécifiques, la mise en œuvre de nouvelles techniques de traitement des données en parallèle et l'amélioration de la gestion de la charge de travail pour les systèmes d'embedding.
En résumé, le nouveau système d'embedding basé sur ONNX de Manticore offre des performances nettement améliorées par rapport au système précédent, ce qui permet de traiter des volumes de données plus importants et de répondre aux besoins des applications modernes qui nécessitent des performances élevées et une gestion efficace de la concurrence.
