Un article très complet sur les agents autonomes à base de LLM.
L'auteur est un peu trop optimiste à mon goût mais ça à le mérite de bien expliqué le fonctionnement et donner beaucoup d'exemples d'utilisation.
Une autre vidéo de Science Étonnante pour comprendre le fonctionnement des LLM (Large Language Model) comme GPT et leur spécialisation dans des outils comme ChatGPT.
Voir aussi Comment les I.A. font-elles pour comprendre notre langue ?
Les LLM commencent à arriver dans les navigateur en utilisant la technologie WebGPU.
Ils ont aussi porté StableDiffusion https://mlc.ai/web-stable-diffusion/
Un nouveau type de base de données qui émerge avec l'IA: la base de données vectorielle
En IA, on représente les données du monde réel sous la forme de vecteurs à N dimensions. Concrètement ce sont des tableaux de nombres à virgules.
Ce genre de base de donnée permet ensuite de rechercher plus efficacement des vecteurs qui sont proches par exemple.
Un exemple de recherche de contexte similaire lors d'une question posée à GPT3 https://docs.pinecone.io/docs/gen-qa-openai
Auto-GPT utilise un LLM et est capable de:
- récupérer des informations sur internet
- conserver des informations en mémoire
- générer sa propre liste de tâche pour répondre à une question
Ça permet d'avoir des agents capable d'améliorer leurs réponses et de réfléchir à des tâches plus complexes.
Pleins d'exemples ici https://twitter.com/NathanLands/status/1646101184384573446?s=20
Une méthode pour ajouter un watermark sur le texte généré par un LLM.
Ça permet de s'assurer qu'un modèle n'est pas utilisé de manière frauduleuse par exemple.
C'est utilisé par HuggingFace par exemple https://github.com/huggingface/text-generation-inference
Un moteur de connaissance backé par un LLM (surement OpenAI) mais qui en plus cite les sources.
Très utile pour débroussailler des sujets de dev lorsqu'on est en phase de recherche / prototypage et qu'on a besoin de comprendre des technos
Un exemple pour compresser un input pour un LLM en utilisant un LLM.
Ici une simple phrase exprime un paragraphe entier:
RcS:skptic&rspctfl_cnstrctvCritic;IdeaPrpsl:frmbHnstCrtcsm
Explication très clair du fonctionnement des modèles Transformer de type GPT.
Une vidéo explicative sur la méthode utilisée par les réseaux de neurones pour comprendre le langage.
Chaque mot est représenté par un vecteur à N dimensions (plusieurs centaines) et cela permet notamment d'intégrer la notion de mots similaires en terme de sens.
On utilise ensuite des réseaux récurrents pour comprendre le sens d'une phrase dans les tâches de classifications ou de traduction.
Pour les tâches de génération, la notion de mémoire est importante et d'autres types de réseaux peuvent être utilisés (LSTM ou GRU).
Mais c'est une nouvelle architecture appellée Transformer qui est utilisé par les modèles récents comme GPT.
Un article plus posé sur l'éventuel remplacement des moteurs de recherche par des LLM.
Il faut considéré les problèmes de biais induit par les données sur lesquels les modèles sont entrainés mais il faut surtout prendre en compte le coût d'entrainement et de génération d'une réponse.
Pour avoir un modèle à jour, il faut constamment l'entrainer et ça coûte très cher.
Pareil pour une réponse qui coûte beaucoup plus cher à générer (Google traite ~10 000 requêtes/sec)
A priori, les LLM vont surtout être utilisé pour répondre à des sujets précis. Par exemple, entrainer un LLM sur toutes les publications relatives au cancer des 20 dernières années.
Cerebras, une entreprise qui fait aussi des supercalculateurs, a publié en Open Source un modèle LLM avec le code ET le modèle entrainé!
C'est le premier modèle 100% open source en licence Apache 2.
Une extension navigateur qui permet de manipuler les site web avec le langage naturel.
Voir aussi:
Google met des IA génératives dans sa suite Google Workspace donc dans Docs, Sheet, Slides etc
Des centaines de millions d'utilisateurs à travers le monde vont avoir accès à une IA générative pour écrire leur contenu.
Attention car OpenAI conserve toutes vos données et pourrait les ressortir dans d'autres conversations!
GPT-4 commence à être rendu disponible sur liste d'attente.
Ils ont fait passé des examens non corrigés sur une vingtaine de sujets et GPT-4 a obtenu la moyenne dans 12 sujets sur 26!
Une autre nouveauté, GPT-4 peut aussi accepter les images en complément du texte.
Des modèles concurrents de GPT-3 commencent à émerger.
Celui-ci est même capable de tourner sur un téléphone (26sec/token) ou un raspberry pi! (ça sera très lent)
Il est intéressant de voir qu'ils ont pu fine-tune le modèle pour un coup assez bas, 600$ (de cloud j'imagine)
À noter, ce modèle n'est pas utilisable sous licence commerciale.
Excellent article de Cory Doctorow traduit par Framablog sur la situation actuelle de Microsoft et surtout Google par rapports aux IA génératrices de texte.
Outre la critique des ces IA qui ne seraient pas prêtes à remplacer les moteurs de recherche et les humains, Google est aussi descendu de son piédestal et ramené à une société financière incapable d'innover et qui rachète d'autres entreprise pour ça.
Injection de contexte dans le prompt de Bing Chat pour demander à l'utilisateur des informations personnelles.
Ces info sont ensuite retransmises à un serveur distant.
Des outils pour détecter si un texte a été généré par une IA du style de GPT-X