OpenAI dépenserait jusqu'à 635 000€ par jour pour les infrastructures nécessaires au fonctionnement de ses API pour ses modèles.
Ça fait quand même 230 millions par an !
Après OpenAI a levé 11 milliards en tout déjà donc ils ont un peu de cash flow pour tenter de dominer le marché mais avec la montée des LLM Open Source c'est pas gagné.
Un article qui compare l'arrivée de l'IA avec celle du cloud il y a 17 ans et les premiers services d'AWS.
J'aime notamment le parallèle à propos des croyances limitantes du cloud comme "les gouvernements ne seront jamais dans le cloud" et celles qu'on peut avoir à propos de l'IA "il y aura toujours un humain dans la boucle" (par exemple)
Un guide entier pour apprendre les différentes techniques d'attaques possible sur les LLM via notamment l'injection de prompt.
Le guide présente aussi des techniques de défense
Un guide sur les différentes techniques de Prompt Engineering
Un article explicatif de ce qu'est vraiment le Prompt Engineering et surtout des méthodes pour avancer de manière scientifique dans l'élaboration de prompts.
Typiquement l'auteur utilise des scripts Python et LangChain pour évaluer la performance de ses prompts.
C'est important de pouvoir mesurer la précision des réponses fournies par un prompt en utilisant un modèle ainsi que le nombre de tokens utilisés afin de pouvoir faire des comparaisons et prendre une décision justifié par son business modèle.
Un autre article plus technique sur le sujet https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
Un autre projet pour créer un LLM entièrement open source (code du modèle + jeux de données + poids entrainés).
Pour l'instant ils ont réalisé la première étape qui est de constitué un jeux de données open source en suivant les instructions données dans la publication scientifique de LLaMa.
Ils ont des données, principalement en anglais, qui proviennent de:
- Commoncrawl
- C4
- Github
- ArXiv
- Wikipédia
- StackExchange
- des livres
Plus d'info et les liens de DL chez HuggingFace
D'ici quelques semaines le modèle devrait être entrainé (avec LLaMa) et disponible en open source comme Cerebras et StableLLM
Exploration du contenu d'un des plus gros jeux de données utilisé pour entrainer les IA.
Il contient des données récupérées depuis le web depuis des sites comme Wikipédia ou patent.google.com ou encore des sites de ebooks piratés.
Cela pose beaucoup de question de copyright sur la légitimité de l'utilisation de ce jeux de données pour entrainer des IA commerciales sans compensation pour les créateurs de contenu.
De même pour les différents biais induit dans les IA par leur entrainement sur des contenus reflétant majoritairement la culture occidentale
Des applications permettant de visualiser une conversation avec ChatGPT sous la forme de nœuds dans d'un graph ou de card sur un tableau blanc.
C'est beaucoup plus pratique de traiter l'exploration d'un sujet comme ça plutôt que de devoir remonter sans cesse dans l'historique du chat.
Un projet communautaire et collaboratif pour créer un modèle entraîné comme ChatGPT
Un article plus détaillé sur les possibilités que commence à offrir les LLM pouvant fonctionner en local dans le navigateur.
On est encore loin de l'adoption pour les utilisateurs standards car il faut:
- lancer chrome avec des flags spéciaux
- télécharger le modèle (plusieurs Go)
- une carte graphique puissante
J'en parlais ici aussi https://links.aschen.tech/shaare/Ov51-w
L'entreprise Stability AI qui est déjà derrière le modèle Stable Diffusion pour la génération d'images a sorti un modèle pour la génération de texte.
Assez similaire à GPT de OpenAI avec un contexte de 4096 tokens.
Le modèle de base est véritablement Open Source et autorisé pour des applications commerciales:
- code en Apache 2
- poids en creative commons avec citation de StabilityAI
A noter qu'il existe une version des poids fine tuné pour la conversion mais la licence est non commerciale car ils ont utilisé les données de Alpaca (en autre)
Un résumé des innovations de ces derniers jours dans le monde des LLM.
Une liste de faille des LLM et des exemples d'exploitation.
C'est principalement des prompt injection
Whisper, le modèle de reconnaissance de texte de OpenAI est en full open source
Elon Musk attaque OpenAI en justice car ils auraient entrainé leur IA illégalement sur les données de Twitter
Un article très complet sur les agents autonomes à base de LLM.
L'auteur est un peu trop optimiste à mon goût mais ça à le mérite de bien expliqué le fonctionnement et donner beaucoup d'exemples d'utilisation.
Une autre vidéo de Science Étonnante pour comprendre le fonctionnement des LLM (Large Language Model) comme GPT et leur spécialisation dans des outils comme ChatGPT.
Voir aussi Comment les I.A. font-elles pour comprendre notre langue ?
Les LLM commencent à arriver dans les navigateur en utilisant la technologie WebGPU.
Ils ont aussi porté StableDiffusion https://mlc.ai/web-stable-diffusion/
Auto-GPT utilise un LLM et est capable de:
- récupérer des informations sur internet
- conserver des informations en mémoire
- générer sa propre liste de tâche pour répondre à une question
Ça permet d'avoir des agents capable d'améliorer leurs réponses et de réfléchir à des tâches plus complexes.
Pleins d'exemples ici https://twitter.com/NathanLands/status/1646101184384573446?s=20
Une méthode pour ajouter un watermark sur le texte généré par un LLM.
Ça permet de s'assurer qu'un modèle n'est pas utilisé de manière frauduleuse par exemple.
C'est utilisé par HuggingFace par exemple https://github.com/huggingface/text-generation-inference