Présentation de Screenpipe

Screenpipe est une application qui enregistre votre écran et votre audio localement, puis fournit aux agents IA une mémoire searchable de ce que vous avez vu, dit et entendu. Cela facilite l'automatisation des tâches répétitives et la création de procédures standardisées.

Fonctionnement de Screenpipe

Screenpipe écoute les événements tels que les commutations d'applications, les clics, les pauses de frappe, le défilement et les retours en arrière. Lorsqu'un changement significatif se produit, il associe une capture d'écran à l'arbre d'accessibilité du système d'exploitation à la même horodatage. La reconnaissance optique de caractères (OCR) est utilisée lorsque les données structurées d'accessibilité sont indisponibles. L'audio est également capturé en continu, les intervenants sont identifiés et la transcription est effectuée localement via Parakeet/Whisper ou à l'aide de modèles cloud.

npx screenpipe record

Toutes les données sont indexées dans une base de données SQLite locale, des fichiers mp4 et parfois des fichiers md. Une API conviviale pour les agents est ouverte sur le port 3030, avec une authentification et une prise en charge de MCP et de compétences.

Implications et limites de Screenpipe

Une fois que Screenpipe a été exécuté pendant un certain temps, vous pouvez l'utiliser via notre chat intégré, Claude, ChatGPT, Hermes, Openclaw ou n'importe quel agent, pour effectuer des tâches telles que l'ajout de contexte à votre conversation actuelle, la récupération d'informations ou la création et la maintenance d'une wiki personnelle / deuxième cerveau pour vos agents.

Screenpipe stocke les données localement, mais propose également un plan entreprise pour découvrir les opportunités d'automatisation, et pour cela, l'entreprise décide où les données sont stockées. Nous avons développé notre propre modèle IA PII pour masquer les informations sensibles, qui s'exécute localement sur Apple MLX ou Windows DirectML, et nous prenons également en charge l'inférence confidentielle cloud pour les appareils de faible puissance.

Code et licence de Screenpipe

La majeure partie de notre codebase est écrite en Rust, MLX, Onnx, nous aimons utiliser cidre ou des appels de fonction C directs pour les API Apple et windows-rs pour les API Windows. Nous expérimentons également la prise en charge de Linux.

Le code est disponible sous forme de source à https://github.com/screenpipe/screenpipe. Nous avons créé la Screenpipe Commercial License, qui permet une utilisation personnelle non commerciale, à but non lucratif, éducative et de recherche gratuite, mais nécessite une licence pour une utilisation commerciale.