Un article qui compare l'arrivée de l'IA avec celle du cloud il y a 17 ans et les premiers services d'AWS.
J'aime notamment le parallèle à propos des croyances limitantes du cloud comme "les gouvernements ne seront jamais dans le cloud" et celles qu'on peut avoir à propos de l'IA "il y aura toujours un humain dans la boucle" (par exemple)
Un guide entier pour apprendre les différentes techniques d'attaques possible sur les LLM via notamment l'injection de prompt.
Le guide présente aussi des techniques de défense
Un guide sur les différentes techniques de Prompt Engineering
Un article explicatif de ce qu'est vraiment le Prompt Engineering et surtout des méthodes pour avancer de manière scientifique dans l'élaboration de prompts.
Typiquement l'auteur utilise des scripts Python et LangChain pour évaluer la performance de ses prompts.
C'est important de pouvoir mesurer la précision des réponses fournies par un prompt en utilisant un modèle ainsi que le nombre de tokens utilisés afin de pouvoir faire des comparaisons et prendre une décision justifié par son business modèle.
Un autre article plus technique sur le sujet https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
Un autre projet pour créer un LLM entièrement open source (code du modèle + jeux de données + poids entrainés).
Pour l'instant ils ont réalisé la première étape qui est de constitué un jeux de données open source en suivant les instructions données dans la publication scientifique de LLaMa.
Ils ont des données, principalement en anglais, qui proviennent de:
- Commoncrawl
- C4
- Github
- ArXiv
- Wikipédia
- StackExchange
- des livres
Plus d'info et les liens de DL chez HuggingFace
D'ici quelques semaines le modèle devrait être entrainé (avec LLaMa) et disponible en open source comme Cerebras et StableLLM
Exploration du contenu d'un des plus gros jeux de données utilisé pour entrainer les IA.
Il contient des données récupérées depuis le web depuis des sites comme Wikipédia ou patent.google.com ou encore des sites de ebooks piratés.
Cela pose beaucoup de question de copyright sur la légitimité de l'utilisation de ce jeux de données pour entrainer des IA commerciales sans compensation pour les créateurs de contenu.
De même pour les différents biais induit dans les IA par leur entrainement sur des contenus reflétant majoritairement la culture occidentale
Du jamais vu niveau collecte d'informations sur les citoyens par des organismes gouvernementaux !
Un décret force les entreprises opérant en Biélorussie à fournir des API pour qu'entre autre le KGB puisse faire des recherches en live dans les bases de données.
Des applications permettant de visualiser une conversation avec ChatGPT sous la forme de nœuds dans d'un graph ou de card sur un tableau blanc.
C'est beaucoup plus pratique de traiter l'exploration d'un sujet comme ça plutôt que de devoir remonter sans cesse dans l'historique du chat.
Un projet communautaire et collaboratif pour créer un modèle entraîné comme ChatGPT
Un article plus détaillé sur les possibilités que commence à offrir les LLM pouvant fonctionner en local dans le navigateur.
On est encore loin de l'adoption pour les utilisateurs standards car il faut:
- lancer chrome avec des flags spéciaux
- télécharger le modèle (plusieurs Go)
- une carte graphique puissante
J'en parlais ici aussi https://links.aschen.tech/shaare/Ov51-w
L'entreprise Stability AI qui est déjà derrière le modèle Stable Diffusion pour la génération d'images a sorti un modèle pour la génération de texte.
Assez similaire à GPT de OpenAI avec un contexte de 4096 tokens.
Le modèle de base est véritablement Open Source et autorisé pour des applications commerciales:
- code en Apache 2
- poids en creative commons avec citation de StabilityAI
A noter qu'il existe une version des poids fine tuné pour la conversion mais la licence est non commerciale car ils ont utilisé les données de Alpaca (en autre)
Un résumé des innovations de ces derniers jours dans le monde des LLM.
Une vidéo demoscene de 7 min qui a été généré par un programme de seulement 177Ko
Un article explicatif du besoin et du fonctionnement du load balancing.
Très bien expliqué et avec des schéma intéractifs!
Pour bien comprendre les besoins, il ne faut pas oublié que les requêtes ne sont pas égales, certaines sont plus longues ou plus consommatrices que d'autre à exécuter.
Au dela du "simple" round robin, d'autres stratégies existent:
- least connection: le load balancer envoie la requête au serveur en ayant le moins en cours
- peak exponentially weighted moving average: calcul de la latence moyenne des serveurs et tente d'utiliser uniquement les serveurs ayant la plus faible latence
Un autre article qui parle de rejoindre une startup en early stage mais du point de vu concret d'un développeur et de ce qu'on peut apporter.
C'est aussi un bon résumé de comment arriver à un MVP
Excellent article sur les avantages et inconvénients de rejoindre une startup à ces débuts.
La société général a déployé un Smart Contract Ethereum pour un stablecoin basé sur l'euro
Sauf que:
- ils peuvent transferer votre argent
- ils peuvent "burn" tout votre argent
- chaque transaction doit être approuvée par une autre transaction
En gros rien de plus centralisé mais avec les inconvénients d'une blockchain (lenteur, prix de transaction, immutabilité)
Une liste de faille des LLM et des exemples d'exploitation.
C'est principalement des prompt injection
Whisper, le modèle de reconnaissance de texte de OpenAI est en full open source
Elon Musk attaque OpenAI en justice car ils auraient entrainé leur IA illégalement sur les données de Twitter