OpenAI partage des technique pour réduire la latence des LLMs.
C'est toujours bon à prendre car le paradigme de latence des LLMs est assez inédit dans le mode du Software Engineering ou on optimise à la dizaine de micro-seconde.
-
Taille du modèle: plus petit = plus rapide mais surtout moins performance. Si vous n'êtes pas capable de mesurer la performance alors il vaut peut-être mieux ne pas risquer un autre modèle que ceux de la gamme GPT4.
-
Générer moins de tokens: les tokens de sortie sont long à générer et en plus coûtent 2x plus cher. Je partage une de mes technique pour Modifier efficacement un texte avec un Agent LLM par exemple
-
Utiliser moins de tokens en entrée: rien à redire ici
-
Faire moins de requêtes: regrouper les requêtes dans le même prompt réduit la latence mais fait baisser les performances (J'en parle dans Spécialisez vos Agents LLM pour de meilleures performances
-
Paralléliser les requêtes: basic software engineering
-
Montrer la progression à l'utilisateur: basic user experience
-
Ne pas utiliser des LLMs partout: cela ne sert à rien de taper sur une vis avec un marteau
Microsoft propose un outil qui prend des screenshots à intervalles réguliers puis les analyse avec de l'IA pour que l'on puisse chercher dedans n'importe quelle information.
Rewind propose la même chose sur Macos par exemple.
Dans l'idée, c'est un RAG automatique sur tout ce que vous faites donc ça peut être pratique.
Dans les faits, la qualité de la donnée est assez mauvaise et l'utilité limitée.
Par contre pour un pirate ayant accès à votre PC c'est une mine d'or 😬
Anthropic ont sorti un outil pour aider à la rédaction de prompts.
L'outil met notamment l'accent sur la chaine de pensée et la séparation entre données et instructions.
J'avais fait un article qui donnait aussi des techniques pour améliorer les performances des prompts
Unstructured propose des produits autour de la normalisation de documents en vue de leur ingestion dans un RAG.
Ils proposent des produits en API et SaaS pour ingérer les documents mais aussi des lib open source !
Sur cette page, ils présentent leur format de découpage d'un document en plusieurs éléments standardisés comme NarrativeText
, Title
, Table
, etc
Des cybercriminels distribuent des packages vérolés en répondant à des questions Stackoverflow.
Ils prétendent que le package en question va régler le problème mais enfaite il contient un virus
La bulle autour de l'intelligence artificielle commence à réduire sa croissance.
L'exemple de Inflection AI est flagrant, montée par des ex de chez Google Deepmind et ayant levé plus d'un milliard, l'entreprise n'a pas créé grand chose en 11 mois et les deux fondateurs sont allés travailler chez Microsoft.
Toutes les méthodes de chunking de documents disponibles dans Langchain et LlaMa Index.
Les plus intéressants sont ceux qui se basent sur la structure du document comme le markdown ou le HTML.
Cela n'est néanmoins pas suffisant car on peut perdre le contexte d'un chunk à l'autre. Par exemple, si le deuxième chunk fait référence au sujet du premier mais sans le reformuler.
Dans les techniques plus avancées, on peut noter le Semantic Splitting qui tente de découper les chunk entre les phrases en fonction du moment ou on change de sujet.
Une utilisation très intéressante de la recherche sémantique: un cache sémantique
Si l'on souhaite utiliser un cache dans une application qui traite du langage naturel (à travers des prompt par exemple), il est très difficile de faire cela avec les techniques traditionnelles comme le hashing.
Plutôt qu'un hash, on peut stocker un vecteur sémantique avec le résultat mis en cache. Ainsi, si une demande ultérieur approche le sens de la première demande, on peut renvoyer directement le résultat.
Par exemple, ces deux questions ne sont écrites pareil mais ont le même sens:
- "En quelle année est sortie Half-Life 2?"
- "Quelle est l'année de sortie de Half-Life2"
Il suffit de stocker le vecteur correspondant à la première question avec la réponse (2004 bien sur!) puis lorsque l'on reçoit la deuxième question on calcule le vecteur et comme il est très proche du premier alors on renvoi la même réponse.
De plus en plus de créateurs quittent DeviantArt car de très nombreux contenus sont générés par IA et mis en avant par la plateforme ce qui donne beaucoup moins de visibilité aux créateurs humains.
Les œuvres humaines sont littéralement noyées sous la masses des œuvres IA.
Une introduction à l'utilisation d'un graphe en addition à la recherche sémantique classique pour améliorer la récupération d'informations d'un RAG.
Ce genre de technique est de plus en plus populaire pour palier à la limite de la perte de contexte en plusieurs chunks.
Le plus difficile reste bien sûr de créer le graphe et de le faire évoluer. (Je pense qu'il y a moyen d'utiliser un LLM pour ça)
A priori GPT-4o est de loin le meilleur modèle pour le problème de "needle in a haystack" qui consiste à évaluer la performance d'un modèle pour retrouver le texte pertinent dans un prompt très long.
Alors que GPT-4 Turbo, Claude ou Mistral performent à ~50% en moyenne, GPT-4o atteint presque la perfection avec plus de 80% de succès !
Cela veut dire que même avec des très longs prompt, le modèle reste performant. Pratique pour traiter un grand nombre d'informations à la fois.
HuggingFace sort une offre ou le coût des GPU est nul.
En gros, au lieu d'avoir un GPU dédié avec un Space (une application HugginFace), votre application se verra alloué un GPU quand elle en aura besoin.
Cela leur permet d'optimiser l'utilisation des GPU un peu comme dans une architecture Serverless CPU classique.
A noter que ce n'est pas entièrement gratuit, il faut un compte PRO à 9$/mois pour bénéficier de cette offre.
Une manière intéressante de calculer à quel point une lib est en retard par rapport à sa dernière version.
Rails 5.0.0 (June 2016) is 1 libyear behind 5.1.2 (June 2017).
La grosse annonce d'Open AI c'est leur nouveau modèle multi-modal avec support de l'audio en plus de la vidéo et du texte.
Son temps de réponse en audio est de 320 ms en moyenne, ce qui correspond au temps de latence dans une véritable conversation. (Avant c'était 3 et 6 sec de latence avec GPT3.5 et GPT4)
La grosse nouveauté c'est surtout qu'avant on avait une combinaison de modèle alors que maintenant on a un modèle unique et donc capable de reproduire des émotions, des rires etc dans sa sortie audio.
Pareil pour la génération d'image avec du texte, c'est quasiment parfait à présent avec le modèle unique.
Ils ont aussi fait un gros effort sur le tokenizer pour réduire le nombre de tokens dans beaucoup de langages de pays du sous continent Indien, du Moyen-Orient et d'Asie.
Finalement la dernière nouveauté et celle qui va le plus nous impacter, c'est que la vitesse d'inférence est 2x plus rapide et le prix est 2 fois moins cher ! (et disponible dès maintenant)
Microsoft ont continué leurs recherches autour de la compression de prompt avec maintenant une v2 de LLMLingua.
C'est très pratique parce que ça permet de compresser les prompts pour utiliser moins de tokens lors de l'appel au LLM.
Cela fonctionne avec un plus petit modèle comme LlaMa 7B pour identifier et supprimer les tokens non-essentiels dans le prompt.
Pour l'instant, cela n'existe qu'en Python.
Supabase sort une gamme de fonctionnalité pour faire tourner des modèles d'embedding et des LLMs dans leurs Edge Functions.
Les modèles tournent sur le runtime ONNX qui avec Transformer.js est la référence pour faire de l'inférence en Javascript et dans le navigateur (CPU et GPU)
Ils ont choisi Ollama avec un cluster de GPU pour faire tourner les LLMs (Mistral, LlaMa, etc)
En tout cas ça permet de faire très rapidement et de bout en bout des projets avec de la GenAI comme un RAG:
- Vector database (PgVector)
- Embedding model
- Inférence LLM
Ce benchmark est constitué de questions avec des descriptions de fonctions à utiliser récupérer des informations extérieures comme la météo par exemple.
Plusieurs capacités sont évaluées:
- appels de fonctions Python, Java et Javascript pour résoudre des problèmes
- utilisation d'API REST depuis une documentation
- création de requêtes SQL
- capacité à répondre "je ne sais pas" si aucune des fonctions ne convient
GPT-4 Turbo et Claude 3 sont au coude à coude dans le benchmark mais GPT-4 est 2x moins cher
Claude 3 Haiku est meilleur que GPT-4 Turbo sur certains benchmark (BFCL) sur le cas d'usage d'appel de fonctions.
Pour comparer les résultats, ils comparent les AST (Abtract Syntax Tree) avec celui du résultat attendu.
Une explication en détails de STUN, TURN et ICE qui sont les suites d'outils et de protocol pour initier des connexion directe entre des clients connectés à Internet derrière un NAT.
C'est notamment ce qu'on utilise pour les outils de visioconférence en WebRTC
Une visite virtuelle de la station Halley en Antartic