Après plusieurs mois de R&D, H sort les résultats de son système de manipulation d'interfaces.

Ils annoncent de meilleurs résultats que le SOTA actuel (AgentE) et que Claude Computer Use.

Je n'ai pas compris quel benchmark ils ont utilisé, j'imagine que c'est WebArena qui contient des tâches à réaliser sur de nombreux sites web.

Ils ont entrainé leur propre modèle multimodal, VLM 3B, et ils obtiennent de meilleurs résultats sur Screenspot que tous les autres modèles, incluant les gros LLM comme GPT-4o (14%) et Claude 3.5 Sonnet (19%) !

Côté LLM, enfin plutôt SLM, ils ont aussi entrainé un modèle 2B spécialisé dans le function calling/tool use. Leurs résultats sont meilleurs que pour les autres SLM (LlaMa3.2 2B, Ministral, etc)

Ils ont donc utilisé ces deux modèles pour développer un produit complet dans lequel on peut programmation des automatisations de tâches https://www.hcompany.ai/blog/introducing-h