Contexte et enjeux

Les entreprises qui déploient l’intelligence artificielle constatent que la disponibilité et la gouvernance des données constituent le principal obstacle au passage du prototype à la production. Selon Arun Prasad Raman, vice‑président de l’infrastructure hybride cloud et IA chez Hitachi Vantara, les données restent souvent dispersées entre systèmes on‑premise, SaaS et cloud public, ce qui complique les contrôles d’accès et la conformité réglementaire.

Architecture du stockage intelligent

Hitachi Vantara a enrichi sa plateforme VSP One avec des capacités d’objet storage et de data lakehouse. Un service intégré identifie les fichiers contenant des informations personnelles – par exemple les numéros de sécurité sociale – et applique automatiquement des politiques de blocage de réplication ou d’exclusion des modèles d’apprentissage. Cette logique s’exécute directement dans le système de stockage, évitant ainsi le déplacement des données vers des processus externes d’indexation.

Le stockage devient ainsi un point d’application de la gouvernance, réduisant le nombre d’étapes nécessaires pour préparer les jeux de données à l’entraînement des modèles.

Intégration d’Apache Iceberg

Hitachi Vantara exploite le format de table ouvert Apache Iceberg pour structurer les métadonnées de fichiers non structurés, tels que les images médicales ou les journaux d’activité. Les métadonnées de scanners CT, par exemple, sont conservées au format Iceberg dans l’objet store et peuvent être interrogées directement, sans pipeline ETL traditionnel. Cette approche permet de lister les scans abdominaux d’une année complète en une seule requête, même si les données sont archivées depuis plusieurs années.

Iceberg fournit un schéma évolutif et une gestion des partitions qui simplifient les mises à jour incrémentales et la lecture sélective, deux exigences majeures pour les charges de travail IA à grande échelle.

Implications pour le déploiement IA

En plaçant la classification, la gouvernance et la découverte de données au cœur du stockage, Hitachi Vantara réduit le temps nécessaire pour transformer les jeux de données bruts en ensembles prêts à l’entraînement. Les équipes de data science peuvent ainsi accéder à des données enrichies sans recourir à des copies multiples, limitant les risques de non‑conformité et les coûts de bande passante.

Cette stratégie s’inscrit dans la tendance plus large où le stockage évolue d’un simple réservoir à une couche active capable de répondre aux exigences de conformité et de performance des pipelines IA modernes.