La grande épopée de l'informatique et du logiciel libre racontée par Ploum.

Une vidéo explicative sur la méthode utilisée par les réseaux de neurones pour comprendre le langage.

Chaque mot est représenté par un vecteur à N dimensions (plusieurs centaines) et cela permet notamment d'intégrer la notion de mots similaires en terme de sens.

On utilise ensuite des réseaux récurrents pour comprendre le sens d'une phrase dans les tâches de classifications ou de traduction.

Pour les tâches de génération, la notion de mémoire est importante et d'autres types de réseaux peuvent être utilisés (LSTM ou GRU).

Mais c'est une nouvelle architecture appellée Transformer qui est utilisé par les modèles récents comme GPT.

Un exemple pour compresser un input pour un LLM en utilisant un LLM.

Ici une simple phrase exprime un paragraphe entier:

RcS:skptic&rspctfl_cnstrctvCritic;IdeaPrpsl:frmbHnstCrtcsm

Explication très clair du fonctionnement des modèles Transformer de type GPT.

Une vidéo extrèmement intéressante sur l'état d'esprit des personnes travaillant dans la finance (principalement la City de Londres)

C'est un résumé du travail d'un anthropologue qui a étudié les millieux financiers londoniens.

Il classe les gens qu'il a interviewé (+200) en 6 catégories:

• teeth shaker: ceux qui ont peur de perdre leur travail et leur niveau de vie, donc ils ferment les yeux sur ce qui ne va pas
• neutral: ceux qui voient les failles et les contrebalancent avec des bons côtés ou les évitent
• master of the universe: ceux qui considèrent que l'état des choses est normal car ils le méritent
• blinker: ceux qui se donnent à fond, s'oublient/s'isolent complètement dans leur travail et sont complètement deconnecté du reste du monde
• delirium: comme les blinkers mais avec des signes d'addictions (clairement les témoignages les plus dérangeants..)
• cold fish: ceux pour qui tout est transaction sans aucune considération éthique ou morale

Le fait d'avoir open sourcé le code de l'algorithme de Twitter ne permet pas de répondre à toutes les questions comme "Quelles sont les personnalités mises en avant ?"

Par exemple un algorithme possédant 48 millions de paramètres est constamment mis à jour par Twitter pour pondérer l'affichage des tweets.

Typiquement l'analogie Tech serait de dire que twitter publie ses sources mais sans les données on est bien incapable de comprendre le fonctionnement actuel de l'algorithme.

Après le green-washing, le libre-washing ? (cc Sebsauvage)