Introduction
Databricks a annoncé la disponibilité générale de Zerobus Ingest, un service sans serveur qui simplifie et accélère l'ingestion de données en temps réel dans le Databricks Lakehouse. Ce service permet aux applications de transmettre des données d'événement en temps réel directement dans des tables Delta gérées sans passer par des courtiers de messages intermédiaires comme Apache Kafka.
Contexte Technique
Zerobus Ingest utilise une approche à sink unique, optimisée pour l'ingestion de données, qui minimise les frais d'ingénierie et élimine la nécessité de régler les courtiers ou de surveiller les groupes de consommateurs. Les développeurs peuvent intégrer Zerobus Ingest à l'aide d'API et de kits de développement logiciel spécifiques au langage pour Python, Java, Rust, Go et TypeScript. Le service prend en charge des milliers de clients concurrents et peut atteindre un débit agrégé de plus de 10 gigabits par seconde dans une table unique, avec jusqu'à 100 mégaoctets de données par seconde et par connexion.
Analyse et Implications
L'annonce de Zerobus Ingest a des implications significatives pour les entreprises qui cherchent à améliorer leur capacité à ingérer et à analyser de grandes quantités de données en temps réel. Les principaux avantages incluent la réduction des coûts d'infrastructure, la diminution de la latence et l'amélioration de la gouvernance des données. Zerobus Ingest est particulièrement adapté aux cas d'utilisation tels que la télémétrie, les données de l'Internet des objets, l'analyse des clics et les flux d'événements de sécurité.
Perspective
Il est important de surveiller les prochaines étapes de Databricks en ce qui concerne Zerobus Ingest, notamment en termes d'intégration avec d'autres outils et services du Lakehouse. Les entreprises doivent également évaluer les avantages et les limites potentiels de l'adoption de Zerobus Ingest dans leur propre environnement, en tenant compte de facteurs tels que la complexité de leur pipeline de données, les exigences de gouvernance et les coûts opérationnels. À mesure que le paysage des données en temps réel continue d'évoluer, les capacités de Zerobus Ingest pourraient jouer un rôle clé dans la façon dont les entreprises abordent l'ingestion et l'analyse de données.
