Un outil de génération d'image en temps réel.
Ça utilise SDXL Turbo pour générer une image en moins de 1 seconde. L'affichage des images se fait au fur et à mesure de l'écriture de la description.
L'effet est vraiment bluffant!
Une excellente étude sur la productivité des développeurs.
- les employés qui se déconnectent à la fin de la journée sont 20% plus productifs
- faire des pauses améliore la productivité
- en moyenne, le temps idéal de concentration par jour est 4h
- au delà de 2h de réunion par jour, les développeurs se sente surchargés
- seulement 1 développeur sur 4 se considère comme productif entre 15 et 18h
Une proposition d'amélioration du protocol SSH en le faisant passer dans HTTP/3.
Plusieurs avantages:
- plus rapide
- utilisation d'authentification modernes (OAuth, etc)
- serveur SSH invisible au port scanning
- tous les autres avantages de HTTP/3
Une méthode de compression des prompts pour réduire leur taille.
La méthode utilise de plus petit LLMs pour compresser un texte en ne conservant que les informations pertinentes pour un LLM.
La différence de performances avec le prompt compressé est minime mais on peut diviser la taille par 20!
Leur deuxième méthode est aussi de la compression de prompt mais dans le cadre d'un RAG. Le contenu du prompt est compressé et surtout ré-organisé lorsqu'il contient des documents afin d'améliorer le score de retrieval.
Ils affichent des performances de 17% supérieures sur NaturalQuestions avec 4x moins de tokens.
Bref, moins de tokens = plus rapide + moins cher, sans baisse de performances significatives voir de meilleures performances.
Des exemples sont disponibles et utilisable en ligne dans Google Collab https://github.com/microsoft/LLMLingua/tree/main/examples
L'histoire de Microsoft qui pousse IE très fort depuis sa création
Firefox est à 2.2% de part de marché.
En dessous de 2% de trafic sur les sites du gouvernement US, il ne sera plus officiellement supporté.
A priori le modèle Phi-2 de Microsoft est assez lent, même sur des GPUs.
Sur CPU c'est plusieurs minutes pour générer ~200 tokens.
Aussi le modèle hallucine pas mal donc succès vraiment mitigé pour Microsoft.
Un LLM qui ne se base pas sur l'architecture Transformers.
C'est intéressant de voir qu'il y a toujours des expérimentations sur d'autres architectures, à voir si celle-ci se révèle meilleure
Après Terraform, c'est au tour de Vault, le produit de gestion de secrets de Hashicorps, d'être fork par la communauté.
Le fork est sous la responsabilité de la Linux Foundation et à l'appui financier d'IBM.
C'est une grosse claque pour Hashicorp qui doit peut-être commencer à amèrement regretter son virage closed sources.
Un article très détaillé sur le fonctionnement des bases de données vectorielles.
Encore une fois, ces "bases de données" servent surtout à faire de la recherche sémantique qui peut être considéré comme un fonctionnalité plutôt qu'un produit à part entière.
Postgres et Elasticsearch proposent de la recherche vectoriel en plus de toutes les autres fonctionnalités d'une application tout en offrant des performances similaires.
A peine quelques semaines après la sortie du modèle AnimateAnyone, les équipes de Alibaba proposent une cabine d'essayage virtuelle.
Une véritable révolution pour le e-commerce !
Les résultats de Mistral en one-shot code generation sont meilleurs que ceux de GPT4.
J'ai testé moi même sur ses exemples et j'obtiens plus ou moins les mêmes résultats.
Après les capacités d'un LLM ne sont pas évaluable uniquement avec des demandes en one-shot et d'ailleurs GPT4 se démarque par ses capacités de "raisonnement" qui s'exprime plutôt avec des Chain of Thoughts et autres méthodes multi-shot.
Un projet soutenu par Firefox qui sauvegarde les sites que vous visitez puis les utilise dans un RAG local construit avec PrivateGPT.
Cela permet de chercher dans les sites qu'on a pu visiter plutôt que tout internet.
Phi-2 est un modèle de seulement 2.7 milliards de paramètre à destination des terminaux mobile.
Malgré sa petite taille, il affiche des performances similaires à Llama 70 ou Mistral 7B.
Il est même plus performant que Gemini Nano 2 alors qu'il est plus petit que celui-ci (3.2B vs 2.7B)
Une excellente analyse de la situation actuelle ou Google et Microsoft se battent d'un côté contre l'Open Source avec principalement Meta de l'autre côté du ring.
Google est enfaite en position d'avance technologique en GenAI depuis des années, c'est à eux qu'on doit l'architecture Transformers à la base de toute la GenAI mais aussi le premier LLM: BERT.
Ils sont juste assez mauvais en terme de communication et leurs succès ne sont pas reconnus du grand publique.
De leur côté, Amazon et Apple sont assez tranquille pour expérimenter petit à petit sans que cela fasse de vagues, notamment sur la cotation boursière.
Une version Open Source de Github Copilot.
C'est du self-hosted avec les modèles suivants:
- TabbyML/StarCoder-7B
- TabbyML/CodeLlama-13B
- TabbyML/DeepseekCoder-6.7B
Mistral propose maintenant ses propres API d'inférence pour leurs modèles.
Outre les modèles de génération de texte, ils proposent aussi un modèle d'embeddings en 1024 dimensions qui offre des performances similaires à ada-2 de OpenAI sur le benchmark MTEB (56.32 vs 55.26 pour Mistral en retrieval)
Au niveau du prix, c'est la même chose que OpenAI, c-a-d 0.1$ pour 1 million de tokens.
Le nouveau modèle de Mistral a été release, c'est un modèle de type "Mixture of Experts" qui contient en réalité 8 modèles spécialisés dans des tâches en particulier.
Ils annoncent des performances meilleures que Llama 70B sur la plupart des benchmark tout en ayant une inférence 6x plus rapide!
Plus d'info sur Mixture of Experts
Un bloqueur de popup, cookies et autres éléments qui pourrissent l'expérience web.
Un régale.
Google a un monorepo depuis 16 ans avec tous le code source des projets.
1 milliard de fichiers et 35 millions de commit. C'est juste incroyable.