Mistral propose maintenant ses propres API d'inférence pour leurs modèles.

Outre les modèles de génération de texte, ils proposent aussi un modèle d'embeddings en 1024 dimensions qui offre des performances similaires à ada-2 de OpenAI sur le benchmark MTEB (56.32 vs 55.26 pour Mistral en retrieval)

Au niveau du prix, c'est la même chose que OpenAI, c-a-d 0.1$ pour 1 million de tokens.

Le nouveau modèle de Mistral a été release, c'est un modèle de type "Mixture of Experts" qui contient en réalité 8 modèles spécialisés dans des tâches en particulier.

Ils annoncent des performances meilleures que Llama 70B sur la plupart des benchmark tout en ayant une inférence 6x plus rapide!

Plus d'info sur Mixture of Experts

LLMCompiler est une alternative à la méthode ReAct pour la planification et l'exécution de tâches.

2 composants:

• LLM Planer: découpe les tâches dans un Directed Acyclic Graph (DAG) pour une exécution en parallèle et un respect des dépendances
• Executor: un Agent qui exécute les différentes tâches avec les outils à sa disposition

Le LLM Planer est capable de recréer le DAG avec le résultat de chaque tâche pour une planification dynamique (e.g. embranchement if/else)

Concrètement ils ont mesuré des améliorations dans le processus de raisonnement sur certains benchmark comme HotspotQA mais c'est surtout la latence qui est réduite grâce à la parallélisation des tâches

Un bloqueur de popup, cookies et autres éléments qui pourrissent l'expérience web.

Un régale.

Google a un monorepo depuis 16 ans avec tous le code source des projets.

1 milliard de fichiers et 35 millions de commit. C'est juste incroyable.