Meta publie un article sur une nouvelle architecture de modèle de langue.

Au lieu de s'appuyer sur des tokens qui représente des "bouts" de mots de quelques lettres, ils proposent de s'appuyer directement sur des concepts de haut niveau.

Un exemple de token avec cette architecture serait "Tim n'était pas très athlétique".

Cela ressemble aux idéogrammes chinois vs les alphabets et d'ailleurs les compromis sont sensiblement les mêmes:

Par exemple, la vitesse d'inférence (= écriture) accrue pour les concepts mais au prix d'un nombre de concepts beaucoup plus importants et donc aussi un coût d'entrainement + inférence (FLOPS) plus élevé.

En tout cas c'est rassurant de voir qu'il y a des architectures radicalement différente des LLMs actuels qui émergent !

llms.txt c'est le nouveau standard pour aider les LLM à comprendre les pages web.

Concrètement c'est un fichier qui comme le fameux robots.txt (ou security.txt ou humans.txt) donne des informations au format texte.

Ces fichiers ne se mettent pas forcément à la racine, exemple avec la doc de Cursor https://docs.cursor.com/llms-full.txt

Google a fine tuné Gemini 1.5 Pro pour améliorer le modèle dans un cadre d'enseignement en respectant les concepts de la pédagogie.

Les LLMs ont tendance à présenter l'information plutôt qu'à engager l'utilisateur dans un processus de réflexion et de compréhension. C'est justement l'un des axe qu'ils ont essayé d'améliorer.

Les résultats présentés ont été fait sur 2360 conversations pour un total de 58000 messages et chaque pair de message a été évalué par 3 experts en moyenne.

Ils affichent des résultats 13% meilleurs que le modèle Gemini 1.5 Pro de base.

C'est aussi intéressant de voir que dans l'étude, GPT-4o possède les moins bons résultats face à Claude 3.5 Sonnet et Gemini 1.5 Pro. Les meilleurs modèles "pédagogues" seraient donc Claude et Gemini.

Il est possible de le tester en mode chat ici: https://aistudio.google.com/

De nombreux exemples de prompt sont dans la documentation https://ai.google.dev/gemini-api/docs/learnlm

Le modèle est déjà disponible dans le SDK sous le nom learnlm-1.5-pro-experimental

E2B propose un service d'exécution de code dans des sandboxs.

C'est ciblé précisément pour les Agents LLM capable d'exécuter directement du code pour accomplir leur tâche.

Les fonctionnalités sont très complètes avec:

• lecture/écriture de fichiers
• accès au réseau de la sandbox (e.g. accéder un serveur web)
• streaming de la sortie standard
• paquets custom (npm, pip, etc)
• Javascript, Python, R, Java, Bash

Une liste assez exhaustive de tous les outils disponible pour générer du code

Ça va du niveau de l'outil qui génère une application entière à l'extension comme Copilot en passant par les IDE AI plus ou moins avancés

Un framework clé en main qui permet de faire de la manipulation de site web par un Agent LLM.

On peut bien sur donner la tâche, choisir le modèle mais aussi fournir des outils custom que l'Agent va pouvoir utiliser.

Très pratique pour le brancher avec nos propres outils internes via du code Python ou plus simplement une API