Monthly Shaarli
July, 2023
Un article sur la loi de Conway qui théorise un lien fort entre la structure d'un système (software par exemple) et la structure des moyen de communication de ceux qui le conçoive.
Une technique pour augmenté la taille de la fenêtre de contexte de LlaMa 2
Des modèles obtenu en fine tunant LlaMa v2 qui obtiennent de très bonnes performances même face à GPT3.5 et GPT4
Excellent article de Ploum sur la différence de la mesure du succès aux USA (et en Chine) comparée à l'Europe.
Google, Facebook et Ali Baba auront sûrement disparu dans 50 ans mais qui pourrait imaginer un monde sans HTTP ou Linux ?
Des chercheurs ont réussi à avoir de meilleurs résultats que BERT et son réseau de neurones sur des tâches de classification de texte avec un classifieur très simple utilisant l'algorithme de compression gzip!
Une explication détaillée de ce que sont les embeddings et leur usage.
Les "embeddings" sont aux coeurs de tous les systèmes d'IA actuels et bien sur les Transformers (GPT, StableDiffusion, Midjourney, etc)
Ce sont des représentation mathématique de textes, d'images pouvant ensuite être traitées par des réseaux de neurones mais aussi par des fonctions mathématiques traditionnelles car ce ne sont que des vecteurs ou des matrices à N dimensions.
MonsterAPI permet de faire du fine tunning de LLM sans connaissances en programmation
Un article sur la nécessité de dire l'inconfortable vérité lors des one-to-one afin de permettre à chacun de s'améliorer
Du warez, des torrents et tout le reste 🏴☠️
Une faille qui affecte les CPU AMD.
C'est causé par l'utilisation de certaines instructions spécialisées de l'ensemble AVX2 qui lors d'une mauvaise exécution spéculative revient à une faille de type use-after-free.
Un wrapper pour utiliser les LLMs open source (LlaMa, Mistral, etc)
La CLI reprend l'interface de Docker avec des ollama pull llama2 ou ollama run llama2.
ça tourne dans le CPU et demande pas mal de RAM (32Go pour les modèles en version 13B)
Les performances de GPT-4 seraient dégradées depuis Mars.
OpenAI procède à des changements silencieux sur les algorithmes disponibles via ses API et la précision de GPT4 aurait été fortement dégradée entre mars et juin.
Une des explications potentielle serait l'utilisation de "sous modèles" GPT4 entrainés pour des tâches spécifiques avec un dispatching. Tout ça pour réduire les coûts de fonctionnement.
Llama 2 est sorti et Meta l'a rendu disponible en Open Source avec utilisation commerciale.
La licence n'est pas full open source comme pourrait l'être une Apache 2.0
- interdiction d'utiliser Llama pour améliorer d'autres modèles
- licence spécial à demander à Meta après 700 millions d'utilisateurs
Disponible chez Huggingface!
(L'article présente aussi un comparatif des modèles open source)
Un ecosystème autour de la plupart des projets de LLM (open source ou non).
On voit dans leur benchmark qu'il n'y a que le modèle GPT4All 13B snoozyqui a un score comparable à GPT-3.
Dans la description des modèles on peut savoir si ils sont véritablement open source ou non.
Un serverless Python spécialisé dans l'exécution des modèles d'IA
Classement des meilleurs LLM Open Source (à différents niveaux) disponibles sur HuggingFace
Pour ajouter un filigrane (watermark) sur les documents officiels que l'on partage.
Ça évite qu'ils soient réutilisés à des fins d'arnaque.
"Pour dossier immobilier Foncia uniquement"
Un CTF de prompt injection
Un article qui parle de la complexité des systèmes actuels de machine learning
Une liste des niveaux d'ingénieurs dans plusieurs boites.
Un réseau de GPU décentralisé, c-a-d c'est les GPU de personnes qui sont utilisées pour faire des tâches complexes comme des entrainements de réseaux de neurones et en échange les propriétaires sont rémunérés.
Un fork de LLaMA qui peut utiliser des contextes de 256K tokens contre 2048 pour le modèle originel.
Le code et le modèle entrainé sont sous licence Apache 2.0