Présentation de FeyNoBg
FeyNoBg est un modèle d'enlèvement d'arrière-plan qui obtient les meilleurs résultats publiés sur quatre benchmarks et se situe à 2% du leader sur les quatre autres. Il est basé sur l'architecture BiRefNet, qui donne aux deux parties du modèle des responsabilités complémentaires : la localisation du premier plan et la reconstruction de la limite du sujet.
Fonctionnement de FeyNoBg
Le modèle commence par passer l'image d'entrée à travers un extracteur de caractéristiques qui fonctionne en quatre étapes. Les premières étapes capturent les détails locaux, tandis que les étapes ultérieures combinent les détails collectés en représentations d'images plus larges appelées cartes de caractéristiques. Le module de localisation utilise ces cartes pour trouver le sujet, tandis que le module de reconstruction les utilise pour retrouver sa limite.
import torch
from loadimg import load_img
from nobg import AutoModel, AutoProcessor
model = AutoModel.from_pretrained("f…")Entraînement et résultats de FeyNoBg
Pour entraîner FeyNoBg, nous avons utilisé une combinaison de données synthétiques et réelles. Nous avons commencé par entraîner le modèle sur le jeu de données MaskFactory, qui contient des paires d'images et de masques synthétiques créés pour une segmentation précise du premier plan. Nous avons ensuite ajouté 26 100 images de 10 jeux de données différents, couvrant des scènes bondées, du camouflage, des sujets haute résolution, des portraits et des images anime.
Bibliothèque NoBg
La bibliothèque NoBg fournit une interface cohérente pour exécuter et entraîner des modèles de suppression d'arrière-plan. Nous l'avons utilisée pour entraîner FeyNoBg et nous la rendons disponible en open source. NoBg offre une meilleure efficacité et une latence plus faible que l'implémentation originale de BiRefNet, tout en conservant une interface cohérente pour les utilisateurs.
