Introduction
L'échographie est l'une des modalités d'imagerie médicale les plus utilisées en raison de sa sécurité, de sa capacité en temps réel, de sa portabilité et de son faible coût. Cependant, les images échographiques ont longtemps été formées à l'aide d'un pipeline de reconstruction conçu manuellement qui comprime les riches mesures de capteurs brutes en une image finale tout en faisant des hypothèses simplificatrices sur la physique, notamment une vitesse du son constante dans tout le corps.
Contexte Technique
Dans l'ère de l'IA et des modèles de base, une question naturelle émerge : pouvons-nous aller au-delà du pipeline de formation de faisceau traditionnel, apprendre directement à partir des données brutes des capteurs échographiques et utiliser les informations qui sont normalement rejetées pendant la reconstruction ? Et si oui, quelles nouvelles capacités cela débloque-t-il ? NVIDIA et des chercheurs de Siemens Healthineers ont collaboré pour trouver des réponses à ces questions. Le résultat de ce travail est un modèle de reconstruction appelé NV-Raw2Insights-US.
Notre approche commence plus tôt. Au lieu de travailler à partir d'images terminées, NV-Raw2Insights-US apprend directement à partir des signaux bruts capturés par la sonde échographique - la représentation la plus proche de la façon dont le son interagit réellement avec le corps. Cela permet au modèle de « écouter » plus attentivement et de comprendre comment chaque patient façonne de manière unique ces ondes sonores.
Analyse et Implications
Dans cette première application Raw2Insights, nous estimons la vitesse du son pour un focus d'image adaptatif. Le résultat est un système capable de générer une carte de vitesse du son personnalisée pour chaque patient - et de l'utiliser pour corriger l'image en temps réel. Ce qui nécessitait auparavant des calculs complexes et chronophages est maintenant effectué en un seul passage d'IA. C'est le passage des données brutes échographiques aux informations exploitables : un système d'IA qui ne traite pas seulement les images échographiques, mais comprend et s'adapte activement à la physique de chaque patient.
Typiquement, les données brutes des canaux échographiques ne sont pas facilement accessibles sur les appareils d'échographie de qualité clinique en raison de leur largeur de bande élevée. Le pont de capteurs Holoscan (HSB) est une passerelle IP FPGA open source développée par NVIDIA qui permet le transfert de données à haute bande passante et faible latence vers le GPU via (RDMA sur Ethernet convergé).
Perspective
En déployant NV-Raw2Insights-US à l'aide de NVIDIA Holoscan, une plate-forme de traitement de capteurs d'IA de pointe conçue pour des charges de travail en temps réel de haute performance sur des systèmes tels que NVIDIA IGX Thor et NVIDIA DGX Spark, nous pouvons produire une estimation de vitesse du son spécifique au patient. Cette estimation est transmise en continu à l'appareil d'échographie, permettant un focus amélioré dans le flux d'imagerie en direct.
Cette architecture de démonstration offre une flexibilité à la fois dans le développement et le déploiement. En passant de l'intelligence échographique traditionnelle aux algorithmes à une pipeline d'IA Raw2Insights, nous débloquons un chemin évolutif vers l'imagerie native IA. En apprenant directement à partir des données brutes des canaux échographiques plutôt que des images reconstruites, NV-Raw2Insights-US réduit les erreurs introduites par les hypothèses traditionnelles et adapte efficacement l'imagerie pour chaque patient.
