Introduction
Amazon Web Services (AWS) a annoncé le lancement d'un nouveau moteur d'analyse de logs pour le service Amazon OpenSearch, permettant ainsi une réduction des coûts de stockage de données d'environ 70% et une augmentation du débit d'ingestion de données de 100%.
Contexte Technique
Le service Amazon OpenSearch est une version entièrement gérée de la plate-forme open-source OpenSearch, conçue pour gérer les charges de travail de recherche et d'analyse distribuées. Il est utilisé pour des tâches telles que la surveillance des applications en temps réel, l'analyse des logs, la recherche Web et la surveillance de la sécurité, ainsi que des applications d'observabilité à grande échelle.
Le nouveau moteur d'analyse de logs introduit de nouvelles approches de stockage et de traitement de données. Il peut stocker des informations dans le format columnar Apache Parquet, plutôt que d'utiliser des index inversés traditionnels. Cela signifie que la disponibilité des données peut être optimisée à l'aide de techniques telles que le codage de dictionnaire et le packaging numérique serré, en éliminant les frais généraux par document qui accompagnent les formats de stockage JavaScript Object Notation.
Analyse et Implications
Le nouveau moteur d'analyse de logs est accessible comme un mode sélectionnable dans le domaine Amazon OpenSearch Service et permet aux clients d'augmenter l'ingestion de données de logs tout en maintenant leurs consoles, architectures de sécurité et configurations réseau existantes. Cela devrait permettre aux équipes DevOps d'entreprise de gérer plus efficacement les volumes croissants de données de logs, qui augmentent en moyenne de 30% à 40% par an.
Les tests internes ont montré que le nouveau moteur peut accélérer l'analyse des logs à grande échelle, avec un débit d'ingestion de 1,78 million de documents par seconde, soit environ deux fois plus que ce que le moteur Apache Lucene standalone peut gérer. De plus, cela a été réalisé avec des exigences de calcul réduites, ce qui se traduit par une amélioration de quatre fois du rapport performances/prix.
Perspective
Les gains de performances offerts par le nouveau moteur d'analyse de logs sont disponibles pour tous les clients AWS à partir de maintenant, sans frais supplémentaires. Les utilisateurs doivent sélectionner le nouveau moteur au moment de la création du domaine en choisissant « observabilité » comme cas d'utilisation principal dans la console AWS.
Cette mise à jour devrait avoir un impact significatif sur la façon dont les équipes DevOps gèrent les données de logs, en leur permettant de gérer plus efficacement les volumes croissants de données et de réaliser des analyses plus rapides et plus précises. Il sera intéressant de suivre l'adoption de cette nouvelle fonctionnalité et son impact sur le marché.
