Un super outil pour comparer les outputs des principaux LLM
Un article qui parle de la complexité des systèmes actuels de machine learning
Excellent article de Ploum sur la différence de la mesure du succès aux USA (et en Chine) comparée à l'Europe.
Google, Facebook et Ali Baba auront sûrement disparu dans 50 ans mais qui pourrait imaginer un monde sans HTTP ou Linux ?
Les performances de GPT-4 seraient dégradées depuis Mars.
OpenAI procède à des changements silencieux sur les algorithmes disponibles via ses API et la précision de GPT4 aurait été fortement dégradée entre mars et juin.
Une des explications potentielle serait l'utilisation de "sous modèles" GPT4 entrainés pour des tâches spécifiques avec un dispatching. Tout ça pour réduire les coûts de fonctionnement.
Une liste des niveaux d'ingénieurs dans plusieurs boites.
Llama 2 est sorti et Meta l'a rendu disponible en Open Source avec utilisation commerciale.
La licence n'est pas full open source comme pourrait l'être une Apache 2.0
- interdiction d'utiliser Llama pour améliorer d'autres modèles
- licence spécial à demander à Meta après 700 millions d'utilisateurs
Disponible chez Huggingface!
(L'article présente aussi un comparatif des modèles open source)
Des chercheurs ont réussi à avoir de meilleurs résultats que BERT et son réseau de neurones sur des tâches de classification de texte avec un classifieur très simple utilisant l'algorithme de compression gzip!
Une explication détaillée de ce que sont les embeddings et leur usage.
Les "embeddings" sont aux coeurs de tous les systèmes d'IA actuels et bien sur les Transformers (GPT, StableDiffusion, Midjourney, etc)
Ce sont des représentation mathématique de textes, d'images pouvant ensuite être traitées par des réseaux de neurones mais aussi par des fonctions mathématiques traditionnelles car ce ne sont que des vecteurs ou des matrices à N dimensions.
Un outil de veille partagé en entreprise
Un ecosystème autour de la plupart des projets de LLM (open source ou non).
On voit dans leur benchmark qu'il n'y a que le modèle GPT4All 13B snoozyqui a un score comparable à GPT-3.
Dans la description des modèles on peut savoir si ils sont véritablement open source ou non.
Un réseau de GPU décentralisé, c-a-d c'est les GPU de personnes qui sont utilisées pour faire des tâches complexes comme des entrainements de réseaux de neurones et en échange les propriétaires sont rémunérés.
MonsterAPI permet de faire du fine tunning de LLM sans connaissances en programmation
Un fork de LLaMA qui peut utiliser des contextes de 256K tokens contre 2048 pour le modèle originel.
Le code et le modèle entrainé sont sous licence Apache 2.0
Un outil pour détecter les erreurs ou les problèmes de performances dans l'utilisation de modèles d'IA
Un autre exemple d'accaparation d'un protocol standard et ouvert par les GAFAM.
Il est presque impossible d'envoyer des emails aujourd'hui sans passer par un des gros provider centralisés.
Voir aussi pour XMPP et peut-être un jour ActivityPub https://links.aschen.tech/shaare/U426-Q
Retour d'expérience sur une sortie de cloud par Hey/Basecamp.
Sans changer la taille de l'équipe Infra, ils ont mis 6 mois à tous migrer et ils vont maintenant économiser 1.5 millions de dollars par an
Petit rappel à l'ordre sur la complexité croissante et souvent inutile en informatique.
Facebook cherche à rejoindre le Fediverse qui est construit autour du standard ActivityPub.
L'auteur revient en arrière et explique comment Google a tué XMPP en prétendant vouloir embrasser l'usage du protocol.
Cette tactique des gros industriels pour tuer la concurrence qu'ils ne peuvent pas acheter à un nom https://en.m.wikipedia.org/wiki/Embrace,_extend,_and_extinguish
Une alternative à Auth0 (SaaS only) et Keycloak (horrible à utiliser)
Un langage ou tout est mal fait
Quelques pépites
DreamBerd has a built-in garbage collector that will automatically clean up unused variables. However, if you want to be extra careful, you can specify a lifetime for a variable, with a variety of units.
const const name<2> = "Luke"! //lasts for two lines
const const name<20s> = "Luke"! //lasts for 20 secondsBooleans can be true, false or maybe.
Technical info: Booleans are stored as one-and-a-half bits.