Un super outil pour comparer les outputs des principaux LLM
Les performances de GPT-4 seraient dégradées depuis Mars.
OpenAI procède à des changements silencieux sur les algorithmes disponibles via ses API et la précision de GPT4 aurait été fortement dégradée entre mars et juin.
Une des explications potentielle serait l'utilisation de "sous modèles" GPT4 entrainés pour des tâches spécifiques avec un dispatching. Tout ça pour réduire les coûts de fonctionnement.
Llama 2 est sorti et Meta l'a rendu disponible en Open Source avec utilisation commerciale.
La licence n'est pas full open source comme pourrait l'être une Apache 2.0
- interdiction d'utiliser Llama pour améliorer d'autres modèles
- licence spécial à demander à Meta après 700 millions d'utilisateurs
Disponible chez Huggingface!
(L'article présente aussi un comparatif des modèles open source)
Un ecosystème autour de la plupart des projets de LLM (open source ou non).
On voit dans leur benchmark qu'il n'y a que le modèle GPT4All 13B snoozyqui a un score comparable à GPT-3.
Dans la description des modèles on peut savoir si ils sont véritablement open source ou non.
MonsterAPI permet de faire du fine tunning de LLM sans connaissances en programmation
Un fork de LLaMA qui peut utiliser des contextes de 256K tokens contre 2048 pour le modèle originel.
Le code et le modèle entrainé sont sous licence Apache 2.0
HuggingFace lance son clone de ChatGPT en 100% open source
OpenAI dépenserait jusqu'à 635 000€ par jour pour les infrastructures nécessaires au fonctionnement de ses API pour ses modèles.
Ça fait quand même 230 millions par an !
Après OpenAI a levé 11 milliards en tout déjà donc ils ont un peu de cash flow pour tenter de dominer le marché mais avec la montée des LLM Open Source c'est pas gagné.
Virus Total va intégré un modèle d'IA qui est capable d'expliquer ce que fait un code.
Ça permet de comprendre ce que fait la suite d'instruction d'un malware analysé sur VirusTotal.
Bien sur le modèle n'est capable d'analyser que le langage naturel donc il ne faut pas s'attendre à ce genre de rapport sur des fichiers binaires mais sur les langages interprété cela fonctionne (Python, Javascript, PowerShell, etc)
Un article qui compare l'arrivée de l'IA avec celle du cloud il y a 17 ans et les premiers services d'AWS.
J'aime notamment le parallèle à propos des croyances limitantes du cloud comme "les gouvernements ne seront jamais dans le cloud" et celles qu'on peut avoir à propos de l'IA "il y aura toujours un humain dans la boucle" (par exemple)
Un guide entier pour apprendre les différentes techniques d'attaques possible sur les LLM via notamment l'injection de prompt.
Le guide présente aussi des techniques de défense
Un guide sur les différentes techniques de Prompt Engineering
Un article explicatif de ce qu'est vraiment le Prompt Engineering et surtout des méthodes pour avancer de manière scientifique dans l'élaboration de prompts.
Typiquement l'auteur utilise des scripts Python et LangChain pour évaluer la performance de ses prompts.
C'est important de pouvoir mesurer la précision des réponses fournies par un prompt en utilisant un modèle ainsi que le nombre de tokens utilisés afin de pouvoir faire des comparaisons et prendre une décision justifié par son business modèle.
Un autre article plus technique sur le sujet https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
Un autre projet pour créer un LLM entièrement open source (code du modèle + jeux de données + poids entrainés).
Pour l'instant ils ont réalisé la première étape qui est de constitué un jeux de données open source en suivant les instructions données dans la publication scientifique de LLaMa.
Ils ont des données, principalement en anglais, qui proviennent de:
- Commoncrawl
- C4
- Github
- ArXiv
- Wikipédia
- StackExchange
- des livres
Plus d'info et les liens de DL chez HuggingFace
D'ici quelques semaines le modèle devrait être entrainé (avec LLaMa) et disponible en open source comme Cerebras et StableLLM
Des applications permettant de visualiser une conversation avec ChatGPT sous la forme de nœuds dans d'un graph ou de card sur un tableau blanc.
C'est beaucoup plus pratique de traiter l'exploration d'un sujet comme ça plutôt que de devoir remonter sans cesse dans l'historique du chat.
Un projet communautaire et collaboratif pour créer un modèle entraîné comme ChatGPT
Un article plus détaillé sur les possibilités que commence à offrir les LLM pouvant fonctionner en local dans le navigateur.
On est encore loin de l'adoption pour les utilisateurs standards car il faut:
- lancer chrome avec des flags spéciaux
- télécharger le modèle (plusieurs Go)
- une carte graphique puissante
J'en parlais ici aussi https://links.aschen.tech/shaare/Ov51-w
L'entreprise Stability AI qui est déjà derrière le modèle Stable Diffusion pour la génération d'images a sorti un modèle pour la génération de texte.
Assez similaire à GPT de OpenAI avec un contexte de 4096 tokens.
Le modèle de base est véritablement Open Source et autorisé pour des applications commerciales:
- code en Apache 2
- poids en creative commons avec citation de StabilityAI
A noter qu'il existe une version des poids fine tuné pour la conversion mais la licence est non commerciale car ils ont utilisé les données de Alpaca (en autre)
Un résumé des innovations de ces derniers jours dans le monde des LLM.
Une liste de faille des LLM et des exemples d'exploitation.
C'est principalement des prompt injection