Introduction
Un générateur de splats gaussiens basé sur le navigateur a été créé à partir de la technologie SHARP d'Apple, en utilisant ONNX Runtime Web. Cette application permet d'uploader une image, de générer des splats gaussiens dans le navigateur, de prévisualiser le résultat et de télécharger un fichier .ply.
Contexte Technique
Le projet repose sur la technologie SHARP d'Apple, qui est une bibliothèque de machine learning pour la génération de splats gaussiens. L'application utilise ONNX Runtime Web pour exécuter le modèle SHARP dans le navigateur. Le modèle est exporté au format ONNX et est servi à partir d'un dossier public.
La mise en œuvre nécessite l'installation de Bun, un environnement de développement moderne, ainsi que d'un navigateur récent tels que Chrome ou Edge. Il est également nécessaire d'avoir suffisamment d'espace disque et de mémoire RAM pour le modèle SHARP, qui peut être conséquent.
Analyse et Implications
L'exécution de SHARP dans le navigateur via ONNX Runtime Web présente des avantages en termes de flexibilité et d'accessibilité. Cependant, cela peut également présenter des défis en termes de performances et de compatibilité, en particulier en raison de la taille et de la complexité du modèle SHARP.
Les limitations de l'application incluent la nécessité d'un environnement de développement spécifique, la taille conséquente du modèle et les exigences en termes de mémoire et de processeur. Cependant, l'application offre une solution innovante pour la génération de splats gaussiens dans le navigateur, ce qui peut être utile pour diverses applications de machine learning et de traitement d'images.
Perspective
À l'avenir, il sera important de surveiller les évolutions de la technologie SHARP et d'ONNX Runtime Web, ainsi que les progrès réalisés dans le domaine de la machine learning et du traitement d'images dans le navigateur. Les améliorations des performances et de la compatibilité seront essentielles pour rendre cette technologie plus accessible et plus pratique pour un large éventail d'utilisateurs.
Il sera également important de considérer les implications en termes de sécurité et de confidentialité liées à l'exécution de modèles de machine learning dans le navigateur, en particulier lorsque les données sensibles sont impliquées. Les développeurs et les utilisateurs devront être conscients de ces risques et prendre les mesures nécessaires pour les atténuer.
