Sana développe un assistant d'entreprise et ils ont levé 55 millions de plus, ce qui porte leur total à 130 millions.
Jusqu'ici ils étaient surtout focus sur un RAG et une base de connaissances mais avec cette levée, ils annoncent aussi avoir acquit une startup IA spécialisée dans l'automatisation des tâches (CTRL)
C'est une très grosse somme pour une boîte non-americaine (ils sont suédois) et donc probablement un futur poids lourd du marché
Un Assistant capable de manipuler cette fois-ci des interfaces de téléphone mobile.
C'est une équipe d'Alibaba qui a réalisé ce projet.
Apple travaille aussi sur des sujets similaires avec son modèle Ferret-UI
CoALA propose une méthode d'organisation des Assistants basée sur les sciences cognitives et notamment les différents types de mémoire à long terme:
- procédural: instructions générales de fonctionnement (les poids initiaux du LLM et le code métier de l'Assistant)
- sémantique: une base de connaissances
- épisodique: les actions passées
La mémoire à court terme (aussi appelée mémoire de travail) est elle représentée par le contenu du prompt utilisé pour répondre.
Ils décrivent notamment des actions internes qui devraient réaliser le LLM pour intéragir avec sa mémoire:
- retrieval: lire dans la mémoire long terme
- reasoning: mettre à jour la mémoire court terme de travail (le prompt)
- learning: écrire dans la mémoire long terme
On retrouve des idées utilisées par Generative Agents
Une simple application Electron pour essayer Claude 3.5 Sonnet avec ses capacités de manipulation d'interfaces graphiques
L'application prend des screenshots de l'écran afin de les envoyer à Claude et Claude répond avec des commandes pour bouger la souris (en x, y), cliquer ou remplir des champs textes.
C'est très lent (1 minute pour chercher et lancer une vidéo Youtube chez moi) mais ça reste quand même impressionnant de voir son ordinateur manipulé automatiquement à la suite d'une simple instruction.
Un autre framework pour faire des Assistant. Celui la est en Typescript vs Swarm de OpenAI en Python.
Ils ont choisi une approche plus classique dans laquelle on définit un "Agent" à qui on donne des outils pour répondre aux demandes.
Il n'y a pas de composition comme dans Swarm et donc pas de moyen de construire des applications agentiques spécialisées.
Comme d'habitude c'est peut-être bien pour expérimenter rapidement quelque chose mais je déconseille fortement de baser une production la dessus.
Microsoft publie un outil + modèle capable de découper un screenshot en zones d'intêret compréhensibles pour un LLM afin de pouvoir intéragir avec des applications.
Ils fournissent également un énorme jeu de données contenant des screenshots annotés avec des bounding boxes autour des éléments donc c'est une porte ouverte pour l'évaluation et l'entrainement d'autres modèles.
C'est dommage de ne pas l'avoir mesuré sur le benchmark de référence pour l'interaction avec un ordinateur (OS World) pour comparer les résultats avec ce que propose Claude par exemple
Vapi propose un système d'Assistant vocaux sur étagère.
L'Assistant peut de lui même transférer les appels vers un humain (fallback par exemple) mais on peut aussi lui fournir des outils personnalisés pour qu'il effectue d'autres actions (par exemple organiser un rendez-vous dans le calendrier)
On peut découper les conversations en blocs pour préciser des workflows de support par exemple.
Tous ce qu'il se passe dans la conversation peut être reçu côté serveur sous la forme d'évènements pour log ou déclencher des actions automatiquement.
Niveau pricing c'est très bien car ils font payer 5 centime la minute pour la voix et pour le reste on peut fournir ses propres clés d'API (OpenAI, Anthropic, etc)
Anthropic propose un environnement permettant à Claude 3.5 Sonnet de manipuler directement la souris et le clavier d'un environnement de bureau.
Ils ont appris à Claude à analyser les images et à compter les pixels entre la position actuelle du curseur et l'endroit ou il devrait se trouver pour accomplir la tâche.
Le modèle obtient 15% sur le benchmark OS World qui mesure les capacités des modèles à réaliser des tâches dans un environnement de bureau.
Le podium est toujours à Agent S avec 20% mais on reste loin de la moyenne d'un utilisateur humain qui est de 77%.
Agent.exe est une application Macos poqui permet de tester ces capacités
Agent S est un framework d'Agent conçu spécialement pour interagir avec un ordinateur comme un humain.
Il est capable de comprendre et manipuler des interfaces pour réaliser des tâches.
Il s'appuie sur un outil permettant de manipuler les interfaces au clique mais aussi de la recherche en ligne et une mémoire des actions réalisées précédemment.
OpenAI propose un framework d'expérimentation multi-agents.
Concrètement, ça permet de déclarer des agents spécialisés et surtout de pouvoir donner la main à un autre agent mieux qualifier à gérer une demande.
Par exemple, on peut avoir deux agents spécialisés, Sales et Refund et un agent de "triage" qui va recevoir les demande et les rediriger vers les agents spécialisés.
Tant qu'on reste sur des cas d'usages assez simple de ce genre (ça ressemble fortement à du routing d'API) alors les résultats sont plutôt bon. On utilise quelque chose de similaire chez Didask pour que les demandes soient traités par des agents spécialisés (nous on appelle ça des "behaviors")
Par contre je trouve que les cas d'usages ou il y a plusieurs boucles de communications entre plusieurs agents (comme agency-swarm) partent rapidement dans le n'importe quoi car les hallucinations deviennent ingérables.
Aider est un assistant pour développement dans le terminal.
L'outil est vraiment bien foutu, je suis impressionné par sa capacité à réaliser des tâches en autonomie. Je l'utilise beaucoup pour du refacto par exemple.
C'est actuellement le meilleur assistant, ils obtiennent 18.9% sur le SWE Bench qui évalue les assistants à leur capacité à réaliser des tâches de programmation.
Le dernier SOTA était Devin.
Bref, c'est un super projet et en plus tout est open source! A utiliser d'urgence
Une nouvelle technique pour planifier et faire exécuter des actions par un Agent en utilisant uniquement du code Python.
Plutôt que de fournir des outils virtuels que l'Agent peut utiliser en répondant un certain format JSON par exemple, CodeAct propose plutôt de permettre à l'Agent d'utiliser directement ces actions dans du code sous la forme de fonctions.
Déjà c'est assez malin car le code est beaucoup plus facile à générer pour un LLM qu'un DSL custom représentant des fonctions.
Aussi, le LLM peut maintenant utiliser directement les primitives de programmation comme les boucles ou les conditions pour arriver à ses fins plus rapidement.
Par contre, il y a du gros travail sur la génération de code pour éviter de faire n'importe quoi (malicious inputs) ou des choses imprévues comme utiliser des paquets externes non disponibles.
Ce benchmark est constitué de questions avec des descriptions de fonctions à utiliser récupérer des informations extérieures comme la météo par exemple.
Plusieurs capacités sont évaluées:
- appels de fonctions Python, Java et Javascript pour résoudre des problèmes
- utilisation d'API REST depuis une documentation
- création de requêtes SQL
- capacité à répondre "je ne sais pas" si aucune des fonctions ne convient
GPT-4 Turbo et Claude 3 sont au coude à coude dans le benchmark mais GPT-4 est 2x moins cher
Claude 3 Haiku est meilleur que GPT-4 Turbo sur certains benchmark (BFCL) sur le cas d'usage d'appel de fonctions.
Pour comparer les résultats, ils comparent les AST (Abtract Syntax Tree) avec celui du résultat attendu.
Une solution clé en main complète autour des LLMs:
- Assistant IA en NoCode
- Génération de documents
- Traduction
- Ingestion de sources externes (fichier, web, Notion)
- RAG intégré
Il y a aussi une version Open Source.
Ça fait un peu usine à gaz mais ça à le mérite d'être complet et rapide à mettre en place.
OpenAI a sorti une mise à jour de son API pour créer des Assistants.
On peut notamment utiliser jusqu'à 10000 fichiers dans leur RAG intégré et streamer les réponses.
Les Assistants permettent de développer très rapidement des POC d'Agents spécialisés en entreprise mais le côté boîte noir finit par se payer comme pour tout produit complètement fermé.
Un Agent semi autonome capable de réaliser des tâches sur des codebases complexes.
Ses capacités d'adaptation à de nouvelles technologies semblent impressionnante, à voir si ça se confirme autrement que dans des vidéos.
Il obtient plus de 13% sur le SWE benchmark qui évalue les Agents sur des tâches de programmation. C'est moi devant le Claude 2 qui était devant jusqu'ici avec 4%
Un projet d'assistant IA capable de réaliser des tâches en manipulant les interfaces des sites web.
Une awesome liste autour des Agents LLM
Un framework un Python qui permet de définir plusieurs Agents puis de leur demander de se coordonner pour résoudre une tâche.
Ils ont notamment une démo assez avancée de génération de landing page avec GPT4 https://github.com/joaomdmoura/crewAI-examples/tree/main/landing_page_generator