Weekly Shaarli
Week 28 (July 10, 2023)
Une explication détaillée de ce que sont les embeddings et leur usage.
Les "embeddings" sont aux coeurs de tous les systèmes d'IA actuels et bien sur les Transformers (GPT, StableDiffusion, Midjourney, etc)
Ce sont des représentation mathématique de textes, d'images pouvant ensuite être traitées par des réseaux de neurones mais aussi par des fonctions mathématiques traditionnelles car ce ne sont que des vecteurs ou des matrices à N dimensions.
MonsterAPI permet de faire du fine tunning de LLM sans connaissances en programmation
Un réseau de GPU décentralisé, c-a-d c'est les GPU de personnes qui sont utilisées pour faire des tâches complexes comme des entrainements de réseaux de neurones et en échange les propriétaires sont rémunérés.
Un ecosystème autour de la plupart des projets de LLM (open source ou non).
On voit dans leur benchmark qu'il n'y a que le modèle GPT4All 13B snoozyqui a un score comparable à GPT-3.
Dans la description des modèles on peut savoir si ils sont véritablement open source ou non.