Hark lance Handoff, un agent navigateur automatisant des tâches sans API

Présentation de Handoff

Hark, startup qui a levé 700 millions de dollars en série A en mai 2024, a dévoilé Hark Handoff, un agent capable d’utiliser un navigateur web pour exécuter des commandes utilisateur. Le produit se positionne sur les sites qui ne proposent pas d’API publiques – Target, Walmart, OpenTable et LinkedIn sont cités – et prétend pouvoir cliquer, saisir du texte et naviguer en se basant uniquement sur la structure HTML et les données visuelles affichées.

Architecture et mécanismes d'action

Selon la démonstration vidéo du CEO Brett Adcock, Handoff analyse le DOM du site et les couches visuelles (captures d’écran, zones de texte) pour déterminer l’action suivante. Le modèle, décrit comme « post‑trained », prédit l’action suivante – un clic ou une frappe – plutôt que le prochain token de texte, ce qui diffère des grands modèles de langage classiques. Cette approche implique un pipeline de vision‑langage couplé à un moteur de planification d’interaction : le modèle reçoit en entrée le rendu de la page, génère une représentation sémantique, puis produit une instruction d’interaction (ex. click('#add-to-cart') ou type('#search', 'fleurs roses')).

Le choix d’une prédiction d’action plutôt que de texte réduit le nombre de tokens à générer, ce qui explique les affirmations de Hark selon lesquelles le système est plus rapide et moins coûteux que les modèles concurrents tels que GPT 5.5 ou Opus 4.8. Le coût d’inférence dépend principalement du nombre de passes visuelles nécessaires ; en limitant chaque passe à une décision d’action, le calcul reste proportionnel au nombre d’étapes de la tâche.

Analyse de performances et limites

Hark indique que Handoff est plus rapide que la concurrence et que son modèle « pré‑entraîne » plus tard dans l’année afin d’affiner le pipeline de données et l’infrastructure d’entraînement. Cependant, la démonstration ne montre qu’une partie du processus de création d’un bouquet, ce qui empêche d’évaluer la robustesse du système face à des variations d’interface ou à des captchas. La dépendance à la structure visuelle rend l’agent sensible aux changements de mise en page : une modification de CSS ou de l’ordre DOM peut invalider la prédiction d’action, nécessitant une re‑formation ou un recalibrage.

Sur le plan sécuritaire, l’automatisation de formulaires sur des sites sensibles (ex. LinkedIn) soulève des questions de conformité aux politiques d’utilisation et de protection des données personnelles. Aucun mécanisme de vérification d’identité ou de sandboxing n’est décrit, ce qui pourrait exposer les utilisateurs à des risques d’abus si l’agent est détourné.

Enfin, le marché des agents d’usage informatique est déjà occupé par des acteurs majeurs – Google, OpenAI, Anthropic – et par des startups comme Browser Use, Polar, Strawberry et Aside. La différenciation de Hark repose sur le modèle d’action prédictive et sur le positionnement tarifaire, mais la viabilité à long terme dépendra de la capacité à maintenir la précision de l’interaction face à l’évolution rapide des interfaces web.