Un RAG sur étagère qui utilise un modèle de graph pour la partie retrieval.

En lui fournissant des exemples de questions et le types des entités à extraire des connaissances, il est ensuite possible d'insérer des connaissances qui seront découpées et analysées pour former le graphe.

Après plusieurs mois de R&D, H sort les résultats de son système de manipulation d'interfaces.

Ils annoncent de meilleurs résultats que le SOTA actuel (AgentE) et que Claude Computer Use.

Je n'ai pas compris quel benchmark ils ont utilisé, j'imagine que c'est WebArena qui contient des tâches à réaliser sur de nombreux sites web.

Ils ont entrainé leur propre modèle multimodal, VLM 3B, et ils obtiennent de meilleurs résultats sur Screenspot que tous les autres modèles, incluant les gros LLM comme GPT-4o (14%) et Claude 3.5 Sonnet (19%) !

Côté LLM, enfin plutôt SLM, ils ont aussi entrainé un modèle 2B spécialisé dans le function calling/tool use. Leurs résultats sont meilleurs que pour les autres SLM (LlaMa3.2 2B, Ministral, etc)

Ils ont donc utilisé ces deux modèles pour développer un produit complet dans lequel on peut programmation des automatisations de tâches https://www.hcompany.ai/blog/introducing-h