Un exemple pour compresser un input pour un LLM en utilisant un LLM.
Ici une simple phrase exprime un paragraphe entier:
RcS:skptic&rspctfl_cnstrctvCritic;IdeaPrpsl:frmbHnstCrtcsm
Le fait d'avoir open sourcé le code de l'algorithme de Twitter ne permet pas de répondre à toutes les questions comme "Quelles sont les personnalités mises en avant ?"
Par exemple un algorithme possédant 48 millions de paramètres est constamment mis à jour par Twitter pour pondérer l'affichage des tweets.
Typiquement l'analogie Tech serait de dire que twitter publie ses sources mais sans les données on est bien incapable de comprendre le fonctionnement actuel de l'algorithme.
Après le green-washing, le libre-washing ? (cc Sebsauvage)
Explication très clair du fonctionnement des modèles Transformer de type GPT.
Une vidéo explicative sur la méthode utilisée par les réseaux de neurones pour comprendre le langage.
Chaque mot est représenté par un vecteur à N dimensions (plusieurs centaines) et cela permet notamment d'intégrer la notion de mots similaires en terme de sens.
On utilise ensuite des réseaux récurrents pour comprendre le sens d'une phrase dans les tâches de classifications ou de traduction.
Pour les tâches de génération, la notion de mémoire est importante et d'autres types de réseaux peuvent être utilisés (LSTM ou GRU).
Mais c'est une nouvelle architecture appellée Transformer qui est utilisé par les modèles récents comme GPT.
Une vidéo extrèmement intéressante sur l'état d'esprit des personnes travaillant dans la finance (principalement la City de Londres)
C'est un résumé du travail d'un anthropologue qui a étudié les millieux financiers londoniens.
Il classe les gens qu'il a interviewé (+200) en 6 catégories:
- teeth shaker: ceux qui ont peur de perdre leur travail et leur niveau de vie, donc ils ferment les yeux sur ce qui ne va pas
- neutral: ceux qui voient les failles et les contrebalancent avec des bons côtés ou les évitent
- master of the universe: ceux qui considèrent que l'état des choses est normal car ils le méritent
- blinker: ceux qui se donnent à fond, s'oublient/s'isolent complètement dans leur travail et sont complètement deconnecté du reste du monde
- delirium: comme les blinkers mais avec des signes d'addictions (clairement les témoignages les plus dérangeants..)
- cold fish: ceux pour qui tout est transaction sans aucune considération éthique ou morale
Un autre son de cloche sur "l'avènements" des IA génératives.
Tout le bruit que l'on entend autour du "danger" et de la perte de jobs pourrait être un formidable coup de com' pour OpenAI.
Goldman Sachs a également fait une étude sur les emplois qui pourrait être remplacé par des IA génératives.
À elle seule, l’IA générative pourrait remplacer un quart des travailleurs actuels.
On y trouve les métiers suivants:
- développeur informatique
- journaliste
- assistant juridique
- analyste de marché
- enseignant
- analyste financier
- trader
- graphiste
- secrétaire
- comptable
- service client
Les métiers manuels sont bien sur les plus épargnés.
l’IA pourrait fortement augmenter la productivité mondiale. Au total, le PIB mondial annuel pourrait augmenter de 7% grâce à cette technologie !
Le risque est bien sur que cet accroissement de la productivité soit capté par une minorité et fasse grandir les inégalités.
Un excellent article qui j'avais lu à l'époque sur l'avènement des AGI (Artificial Général Intelligence) et ASI (Artificial Super intelligence)
Ça revient au goût du jour avec tout ce qu'il se passe actuellement autour des LLM comme GPT-4.
L'article explore les concepts d'AGI et d'ASI avec les probabilités d'apparition dans les prochaines années, la vitesse à laquelle pourrait aller la transition.
C'est surtout vertigineux d'essayer de réaliser la portée d'une ASI et la manière donc elle nous considérera.
Une histoire d'optimisation d'un cluster Elasticsearch.
Le problème chez Netflix venait d'une mauvaise allocation des shards des indices, tous les indices avaient le même nombre de shards et donc certains noeuds se retrouvent à héberger des shards contenant des millions de documents.
Leur stratégie a été de distribuer les documents non pas par type mais par date de création (time buckets) en utilisant des index template pour la création automatique et des alias pour la recherche (comme pour l'ingestion des logs donc).
Un article sur l'utilisation de React Context dans une app pour partager facilement des informations entre les composants plutôt que les passer dans les props.
L'utilisation est un peu complexe et s'apparente à de l'injection de dépendances.
On fournit les contextes en encapsulant l'application dans des balises donc attention à l'utilisation de plusieurs contextes qui s'encapsulent entre eux et réintroduisent du couplage.
// ContainerContext a besoin de LangContext
<LangContext.Provider value={translate}>
<ContainerContext.Provider value={findTasks}>
<TodoList/>
</ContainerContext.Provider>
</LangContext.Provider>
Un retour d'expérience de Cloudflare sur la ré-écriture d'un module Nginx en Rust.
Analyse de l'attaque qui a touché les utilisateurs de la téléphonie IP 3CX.
Une attaque supply chain bien organisé qui avait le potentiel d'ouvrir des backdoor chez les 12 millions d'utilisateurs de 3CX.
Les scammeurs utilisent des IA pour générer la voie d'une personne connue afin de soutirer de l'argent.
On entre dans une nouvelle ère du scam, c'est inquiétant
Un mod de Half-life 2 en VR!
19 ans après sa sortie, Half-life 2 reste un monument incontournable du jeux vidéo
Superbe démonstration pas à pas d'utilisation de la data science au travers d'une suite de suppositions pour détecter les faux comptes Github.
Par exemple, en analysant les comptes qui agissent les même jours on a plus de chance de détecter des comptes instrumentés par des scripts.
Excellent article sur les CRDTs (Conflict Free Replicated Data types).
Un CRDT c'est une structure de données qui
- peut être copiée sur plusieurs clients (souvent en p2p)
- peut être modifiée sans coordination par plusieurs clients
- chaque copie peut être mergée sur chaque client afin de former un état final déterministe
C'est ce qui est utilisé pour les outils de collaboration type Google Doc pour résoudre les conflits par exemple.
Onboarder une personne avec une position "haute" dans la hiérarchie n'est jamais simple.
Il est crucial de passer les premières semaines à apprendre et à appliquer les méthodes actuelles avant d'essayer de lancer ses propres méthodes.
Aussi, il est préférable de commencer par résoudre un problème mineur plutôt que de se casser les dents sur le problème majeur.
Un article plus posé sur l'éventuel remplacement des moteurs de recherche par des LLM.
Il faut considéré les problèmes de biais induit par les données sur lesquels les modèles sont entrainés mais il faut surtout prendre en compte le coût d'entrainement et de génération d'une réponse.
Pour avoir un modèle à jour, il faut constamment l'entrainer et ça coûte très cher.
Pareil pour une réponse qui coûte beaucoup plus cher à générer (Google traite ~10 000 requêtes/sec)
A priori, les LLM vont surtout être utilisé pour répondre à des sujets précis. Par exemple, entrainer un LLM sur toutes les publications relatives au cancer des 20 dernières années.
Cerebras, une entreprise qui fait aussi des supercalculateurs, a publié en Open Source un modèle LLM avec le code ET le modèle entrainé!
C'est le premier modèle 100% open source en licence Apache 2.
Nomic supporte maintenant le format Apache Arrow.
C'est véritablement entrain de devenir le standard de l'industrie data!
Nomic est une lib python qui permet d'intéragir avec de très gros jeux de données dans son navigateur.