Contexte et justification
Les embeddings générés à partir de documents, images ou vidéos sont désormais stockés dans des tables ouvertes (Parquet, Hudi, Iceberg) sur les buckets d'object storage. Les jeux de données de type lakehouse atteignent des volumes de 100 à 1 000 fois ceux d’une instance PostgreSQL classique : LinkedIn possède un exabyte, Uber 350 PB, Pinterest 500 PB et Netflix décrit son entrepôt Iceberg à l’échelle d’un exabyte. Copier ces tables dans une base de données applicative pour y exécuter une recherche vectorielle impliquerait une duplication coûteuse et la mise en place d’un pipeline de synchronisation. Les solutions existantes (pgvector, OpenSearch k‑NN, moteurs propriétaires) stockent l’index hors du format ouvert, ce qui oblige à reconstruire l’index lors d’un changement de moteur.
Architecture de l’index Lakegres
Lakegres intègre l’index directement dans les métadonnées de la table, dans le même bucket que les fichiers de données. Chaque commit qui insère, met à jour ou supprime des lignes met également à jour l’index, garantissant une cohérence sans job de synchronisation. L’index repose sur un clustering k‑means : les vecteurs sont regroupés autour de centroids, puis quantifiés avec la méthode RaBitQ. La quantisation utilise une rotation aléatoire fixe et des codes compacts de 1 à 8 bits par dimension, 4 bits étant la valeur par défaut. Les codes ainsi stockés permettent de calculer les distances L2, cosinus ou produit scalaire. Les clusters sont découpés en « posting segments ». Chaque segment regroupe 1 000 à 4 000 entrées vectorielles dans un bloc d’environ 512 KB. Le bloc contient les codes quantifiés et les identifiants de lignes, ce qui limite les lectures aléatoires à des accès séquentiels de taille raisonnable sur le stockage objet. Lors d’une requête, le moteur résout d’abord le snapshot de la table et la génération d’index active, puis lit uniquement les segments pertinents avant de récupérer les vecteurs complets dans les fichiers de données.
Comparaison avec les approches mémoire‑centrées
Les index HNSW utilisés par PostgreSQL (pgvector) ou OpenSearch nécessitent que le graphe complet réside en RAM. La formule de dimensionnement d’AWS pour OpenSearch indique 1,1 × (4 × dimensions + 8 × m) octets par vecteur. Avec 247 M vecteurs à 1 024 dimensions et m = 16, cela représente ~1,15 TB de RAM pour une seule table, et ~46 TB pour 10 M M vecteurs. Les benchmarks cités montrent que ces exigences dépassent largement les capacités des clusters standards, rendant les solutions mémoire‑intensives impraticables à l’échelle du lakehouse. Lakegres, en stockant l’index sur disque et en limitant les lectures aux segments pertinents, évite ce goulet d’étranglement. Des projets comme VAST ou turbopuffer adoptent également des indexations basées sur le stockage, mais ils restent des solutions propriétaires. Lakegres se distingue en offrant un index ouvert compatible avec les tables Hudi et Iceberg déjà existantes.
Implications pratiques et limites
Les utilisateurs peuvent créer ou supprimer l’index sans réécrire les fichiers de données, ce qui facilite les phases d’expérimentation. Le même endpoint PostgreSQL accepte les requêtes SQL classiques, les scans analytiques, les recherches textuelles et maintenant la recherche vectorielle, simplifiant l’intégration avec les agents ou les pipelines existants. Cependant, la performance dépend de la granularité des clusters et du taux de compression : un nombre trop faible de centroids augmente le nombre de segments à lire, tandis qu’une compression excessive (1 bit) peut dégrader la précision des distances. De plus, la latence reste supérieure à celle d’un index purement en mémoire, mais reste acceptable pour des workloads où le coût de stockage l’emporte sur la vitesse pure.