Présentation
Ce projet présente un outil en ligne de commande qui permet de convertir une vidéo de leçon de guitare YouTube en un fichier PDF de tablature. L'outil télécharge la vidéo, échantillonne des frames, utilise la vision de Claude pour localiser la région de la tablature, recadre chaque frame à cette région, supprime les doublons en fonction du numéro de mesure imprimé sur chaque ligne de la partition, et assemble les lignes de tablature distinctes verticalement dans un fichier PDF.
Fonctionnement
L'outil fonctionne sans configuration et produit un fichier PDF nommé d'après le titre de la vidéo, avec le titre de la vidéo comme en-tête sur la première page et dans les métadonnées du document. Les étapes clés incluent le téléchargement de la vidéo, l'extraction de frames, la détection de la région de la tablature, le recadrage, la suppression des doublons et la création du fichier PDF.
Implémentation technique
L'outil utilise plusieurs outils et technologies, notamment yt-dlp pour le téléchargement de la vidéo, ffmpeg pour l'extraction de frames, et Claude vision pour la détection de la région de la tablature. Les frames sont échantillonnées à intervalles réguliers (par défaut 2 secondes) et les régions de la tablature sont détectées à l'aide d'un modèle de vision de Claude. Les frames sont ensuite recadrées à la région de la tablature et les doublons sont supprimés en fonction du numéro de mesure imprimé sur chaque ligne de la partition.
Exécution et paramètres
L'outil peut être exécuté en ligne de commande en utilisant node et en fournissant l'URL de la vidéo YouTube. Plusieurs paramètres sont disponibles pour personnaliser le comportement de l'outil, tels que l'intervalle d'échantillonnage des frames, le modèle de vision de Claude utilisé, et le seuil de suppression des doublons. Les exemples de code suivants montrent comment exécuter l'outil :
npm installnode --env-file=.env dist/cli.js "https://www.youtube.com/watch?v=WgU5tDGC-Vc"
