Un LLM basé sur Llama 2 mais avec seulement 1.1 milliards de paramètres.

Tout comme les modèles Gemini Nano, une taille aussi petite permet de faire tourner le modèle sur un smartphone par exemple.

Ils estiment qu'il ne faut que 500 Mo de RAM pour faire fonctionner TinyLlama.

Les performances sur le benchmark CommonSense sont de 51 contre 63 (Llama 7B) et 71 (Llama 70B). GPT-3.5 et GPT-4 obtiennent respectivement 85 et 96.

Claude 2.1 possède une fenêtre de contexte énorme de 200K tokens.

Bien sur, plus il y a de tokens et plus il est difficile pour le modèle de les prendre tous en compte.

Ici, les chercheurs d'Anthropic ont réussi à passer de 27% à 98% de succès sur des tâches de récupération d'informations passées dans les 200K tokens de contexte.

Ça se résume à une seule phrase de prompt engineering placée à la fin: Here is the most relevant sentence in the context:

(Voir aussi cet article qui évalue les performances des instructions dans un prompt en fonction de leur position)

Un clone de minecraft fait uniquement en CSS et HTML.

Ce sont des checkbox qui gèrent les états.

Un LLM Open Source surpasserait les performances de GPT-4 en terme d'appel de fonctions.

Notamment sur les appels de fonctions imbriqués.

Ce qui est intéressant c'est qu'ils ont aussi benchmark GPT3.5 et Gorilla et toutes les données et jeux de test sont disponibles sur Hugging Face 👉 https://huggingface.co/spaces/Nexusflow/Nexus_Function_Calling_Leaderboard

Une étude compare l'impact environnemental des modèles Open Source de GenAI.

Générer une image avec Stable Diffusion consomme autant que charger un smartphone (0.012 kWh)

A priori les modèles spécialisés seraient tout autant efficace sur certaines tâches précises tout en consommant moins d'énergie.

De la recherche vectorielle sur des fichiers audio avec Elasticsearch et librosa

Une explication technique du moteur de recherche de code de Github.

Avec 155 To de données et plus de 15 milliards de documents, ils ont développé une solution maison de l'ingestion jusqu'au moteur de recherche.

Le moteur de recherche est basé sur des ngrams (trigramme à priori)

Le modèle SeamlessStreaming de chez Facebook est disponible en Open Source.

Il permet de faire de la traduction en temps réel d'une langue vers une autre (audio + texte).

Voir la vidéo de démo

Meta sort un LLM basé sur Llama 7B qui est spécialisé dans la classification d'un prompt et d'une réponse afin de détecter du contenu préjudiciable.

C'est une bonne alternative Open Source à des outils comme l'API de modération de OpenAI.

D'ailleurs les performances de Llama Guard sont globalement meilleures que celles de OpenAI

Une explication technique du bug dans le moteur source qui permet d'accélérer pendant les sauts.

Code à l'appuie 😄

Google sort AlphaCode2 qui se base sur son LLM Gemini.

Cette nouvelle version utilise Gemini mais c'est surtout un Agent LLM complexe avec de multiples étapes:

• génération de solutions
• évaluation des solutions
• sélection des meilleures solutions

AlphaCode2 a résolu 43% des 8000 problèmes tirés de CodeForces, ce qui le positionne entre les rangs "Expert" et "Candidate Master" ou tout simplement meilleur que 85% des développeurs du site.

Rivet est de loin le meilleur outil que j'ai pu voir pour faire du Prompt Engineering

Franchement j'en ai testé pleins et la rien à redire, on peut tout faire simplement:

• assembler des prompts
• parse les sorties textes
• envoyer ce qu'on a parse dans d'autres prompts
• écrire du code Javascript dans un node (c'est typé et en plus l'éditeur c'est vscode)

Le moteur d'exécution des nodes est super bien fait, par exemple il peut mettre en cache les appels à Open AI si une node fait une erreur plus loin alors on peut corriger et rejouer sans attendre.

L'éditeur de nodes est aussi super intuitif, j'ai pu créer un système complexe de prompts en 15 min sans la documentation

Une vidéo qui résume les nouvelles fonctionnalités de Github Copilot.

On a notamment des Agents qu'il est capable d'invoquer pour poser des questions spécifiques. Ce sont des RAGs.

Par exemple @workspace permet de poser des questions avec les fichiers du projet pour trouver un composant en particulier.

https://code.visualstudio.com/blogs/2023/11/13/vscode-copilot-smarter

Un framework pour construire facilement une application type chat avec des LLMs.

Pleins de fonctionnalités:

• suivi threads
• ajout de fichiers
• multi-modalité (images, son)
• frontend custom

Un LLM Open Source spécialisé dans la génération de code.

Le modèle n'a que 7 milliards de paramètres et est capable de surpasser GPT-3.5 dans certains benchmarks.

Une technique qui améliore la résolution de problèmes avec du code.

C'est une variante de Chain of Thought pour la résolution de problèmes et c'est d'ailleurs sur ce genre de benchmark qu'ils ont évalué le modèle et non pas des benchmark de pure génération de code.

La méthode consiste à découper le problème en sous étape et ensuite soit:

• de générer le code Python de la sous étape et d'exécuter le tout à la fin
• d'utiliser un LLM pour pseudo exécuter le code de l'étape

SDXL Turbo est une version améliorée de Stable Diffusion XL qui permet de générer une image en seulement 200ms sur une carte A100 !

Concrètement il n'y a qu'une seule étape de génération au lieu de 20 à 50 aujourd'hui. Ces étapes de générations enlèvent des couches de "bruit" successive.

Le nom de la nouvelle méthode est Adversarial Diffusion Distillation (ADD)

Le modèle et les poids sont Open Source mais sans utilisation commerciale

Si on créé un binaire avec Node.js et qu'il contient du code malveillant alors ça passe tous les heuristiques de détection de malwares