Contexte de la conférence

OpenSearchCon, sponsorisé par les équipes techniques d’Intel, IBM et Uber, se tiendra à San Jose en septembre. L’événement réunit des responsables d’infrastructure autour de trois axes : recherche distribuée, observabilité et charges de travail d’IA. Le programme promet des keynotes, des ateliers pratiques et des sessions de networking, avec l’objectif explicite de livrer des patterns de production utilisables immédiatement.

Architecture cible : OpenSearch et OpenTelemetry

OpenSearch, fork d’Elasticsearch maintenu par Amazon, s’appuie sur Apache Lucene 9.x et propose une pile complète de recherche et d’analytics. La version 2.x, largement déployée en 2024, expose des APIs REST compatibles avec le standard OpenSearch DSL. L’intégration d’OpenTelemetry permet de collecter traces, métriques et logs via des agents side‑car ou des bibliothèques d’instrumentation. Le schéma typique consiste à exporter les données vers un backend OpenSearch indexé, où Kibana‑compatible OpenSearch Dashboards visualise les flux en temps réel.

# Exemple d’instrumentation Python avec OpenTelemetry
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor, OTLPSpanExporter

trace.set_tracer_provider(TracerProvider())
tracer = trace.get_tracer(__name__)
exporter = OTLPSpanExporter(endpoint="http://otel-collector:4317")
trace.get_tracer_provider().add_span_processor(BatchSpanProcessor(exporter))

with tracer.start_as_current_span("process_request"):
    # logique métier
    pass

Ce fragment montre comment les traces sont envoyées à un collecteur OTLP, qui les redirige ensuite vers OpenSearch via le plugin OpenTelemetry‑OpenSearch.

Scénarios pratiques présentés

Les ateliers promettent deux livrables concrets : la construction d’une stack OpenTelemetry complète et le déploiement d’une application de recherche pilotée par IA. Le premier scénario décrit le déploiement d’OpenTelemetry Collector en mode « gateway », agrégant les métriques de plusieurs micro‑services Kubernetes. Le second combine un modèle de langage (LLM) hébergé sur des GPU Intel avec le moteur de recherche OpenSearch, permettant des requêtes en langage naturel enrichies par le contexte des logs.

Chaque démonstration s’appuie sur des configurations YAML détaillées, incluant les pipelines de transformation (processors) et les exporteurs (exporters). Les participants repartent avec des fichiers de configuration prêts à être appliqués dans un cluster EKS ou Azure Kubernetes Service, ce qui réduit le temps d’intégration de plusieurs semaines à quelques jours.

Enjeux et limites

Le principal défi identifié lors de la conférence réside dans la surcharge réseau générée par l’exportation massive de traces. Des études internes d’Intel montrent que le débit moyen d’un service à forte charge peut atteindre 10 000 spans / seconde, nécessitant une mise en cache côté collector pour éviter la perte de données. De plus, la corrélation entre logs et traces reste limitée par l’absence d’un identifiant de trace partagé dans les bibliothèques de logging traditionnelles.

Enfin, la dépendance à OpenSearch impose de surveiller la fragmentation des shards : un mauvais dimensionnement peut entraîner une latence de recherche supérieure à 200 ms, ce qui compromet les exigences de réponse en temps réel des applications d’IA. Les organisateurs recommandent donc d’utiliser l’outil de réallocation de shards intégré et de suivre les métriques de « search latency » via OpenTelemetry.