Contexte et exigences
Sur la plateforme de trading Kite, plus de 20 millions d’utilisateurs sauvegardent des préférences d’interface sous forme de blobs JSON de quelques kilo‑octets à plusieurs méga‑octets. Le service devait supporter plusieurs milliers, voire dizaines de milliers, de requêtes de lecture/écriture par seconde avec une latence de l’ordre du chiffre unique de millisecondes. Les solutions précédentes – CouchDB puis SSDB – ont échoué face à deux contraintes majeures : l’obsolescence du code C++ de SSDB (risque opérationnel) et l’absence de scalabilité horizontale, limitant la taille des blobs à 1 Mo sous peine de latence accrue.
Les critères de sélection étaient clairs : API clé‑valeur compatible Redis, prise en charge de blobs multi‑méga‑octets, partitionnement horizontal, compression intégrée, et coût d’exploitation minimal. Les bases évaluées (ScyllaDB, PostgreSQL, YugabyteDB, RocksDB, Ceph, SeaweedFS, S3/MinIO, système de fichiers brut) ont toutes présenté des lacunes, que ce soit en débit, en consommation de ressources, en complexité opérationnelle ou en gestion de TTL.
Architecture de Blobasaur
Blobasaur est un serveur monobinaire écrit en Rust qui expose le protocole Redis. Chaque nœud possède plusieurs shards SQLite, chaque shard étant un fichier .db contenant les blobs sous forme de lignes (key, value, expires_at). SQLite fournit l’atomicité des écritures, la journalisation WAL et la compression ZSTD via l’extension sqlite3_compress. Le partitionnement s’effectue par hachage du clé, ce qui répartit uniformément les blobs sur les nœuds du cluster et évite les goulots d’étranglement d’un seul serveur.
Le modèle de durabilité est volontairement relâché : les écritures sont confirmées dès que le journal WAL est synchronisé, sans attendre le flush complet sur disque. Cette approche accepte la perte de quelques secondes de données non critiques (préférences UI) en échange d’une latence de 1 ms à 9 ms pour des blobs de 2 KB à 5 MB, mesurée sur du matériel « commodity » (CPU Intel Xeon E5‑2670, SSD SATA).
SET workspace:12345 "{\"layout\":\"grid\",\"widgets\":[...] }"
EXPIRE workspace:12345 86400
GET workspace:12345Les commandes ci‑dessus illustrent la compatibilité totale avec les bibliothèques Redis existantes en Go ou Python, éliminant toute refonte côté client.
Performances, avantages et limites
En production, Blobasaur gère environ 15 k op/s d’écritures et 20 k op/s de lectures, avec un taux de compression moyen de 68 % sur les JSON répétitifs. Le coût matériel se limite à trois nœuds de 8 cœurs, 32 Go RAM et 2 TB SSD, contre plusieurs dizaines de serveurs requis par des solutions comme Ceph. La simplicité du déploiement (un seul binaire, aucune dépendance externe) réduit le temps d’installation à moins de 10 minutes.
Les limites proviennent principalement du modèle de stockage relationnel sous‑jacents : SQLite ne supporte pas nativement le sharding multi‑master, ce qui impose une topologie maître‑esclave pour chaque shard. En cas de perte du nœud maître, la récupération nécessite la promotion d’un réplica et la reconstruction du journal WAL, processus qui peut ajouter quelques secondes de latence. De plus, l’absence de requêtes secondaires (indexation, jointures) signifie que Blobasaur ne convient pas à des cas d’usage nécessitant des recherches complexes sur le contenu des blobs.
En résumé, l’association de Rust et SQLite a permis de créer un service de stockage blob distribué, à haut débit, à faible latence et économique, parfaitement adapté aux besoins de préférences UI volatiles de la plateforme Kite.