Un article très complet sur les agents autonomes à base de LLM.
L'auteur est un peu trop optimiste à mon goût mais ça à le mérite de bien expliqué le fonctionnement et donner beaucoup d'exemples d'utilisation.
Une autre vidéo de Science Étonnante pour comprendre le fonctionnement des LLM (Large Language Model) comme GPT et leur spécialisation dans des outils comme ChatGPT.
Voir aussi Comment les I.A. font-elles pour comprendre notre langue ?
Les LLM commencent à arriver dans les navigateur en utilisant la technologie WebGPU.
Ils ont aussi porté StableDiffusion https://mlc.ai/web-stable-diffusion/
Auto-GPT utilise un LLM et est capable de:
- récupérer des informations sur internet
- conserver des informations en mémoire
- générer sa propre liste de tâche pour répondre à une question
Ça permet d'avoir des agents capable d'améliorer leurs réponses et de réfléchir à des tâches plus complexes.
Pleins d'exemples ici https://twitter.com/NathanLands/status/1646101184384573446?s=20
Une méthode pour ajouter un watermark sur le texte généré par un LLM.
Ça permet de s'assurer qu'un modèle n'est pas utilisé de manière frauduleuse par exemple.
C'est utilisé par HuggingFace par exemple https://github.com/huggingface/text-generation-inference
Un exemple pour compresser un input pour un LLM en utilisant un LLM.
Ici une simple phrase exprime un paragraphe entier:
RcS:skptic&rspctfl_cnstrctvCritic;IdeaPrpsl:frmbHnstCrtcsm
Explication très clair du fonctionnement des modèles Transformer de type GPT.
Une vidéo explicative sur la méthode utilisée par les réseaux de neurones pour comprendre le langage.
Chaque mot est représenté par un vecteur à N dimensions (plusieurs centaines) et cela permet notamment d'intégrer la notion de mots similaires en terme de sens.
On utilise ensuite des réseaux récurrents pour comprendre le sens d'une phrase dans les tâches de classifications ou de traduction.
Pour les tâches de génération, la notion de mémoire est importante et d'autres types de réseaux peuvent être utilisés (LSTM ou GRU).
Mais c'est une nouvelle architecture appellée Transformer qui est utilisé par les modèles récents comme GPT.
Un autre son de cloche sur "l'avènements" des IA génératives.
Tout le bruit que l'on entend autour du "danger" et de la perte de jobs pourrait être un formidable coup de com' pour OpenAI.
Goldman Sachs a également fait une étude sur les emplois qui pourrait être remplacé par des IA génératives.
À elle seule, l’IA générative pourrait remplacer un quart des travailleurs actuels.
On y trouve les métiers suivants:
- développeur informatique
- journaliste
- assistant juridique
- analyste de marché
- enseignant
- analyste financier
- trader
- graphiste
- secrétaire
- comptable
- service client
Les métiers manuels sont bien sur les plus épargnés.
l’IA pourrait fortement augmenter la productivité mondiale. Au total, le PIB mondial annuel pourrait augmenter de 7% grâce à cette technologie !
Le risque est bien sur que cet accroissement de la productivité soit capté par une minorité et fasse grandir les inégalités.
Un excellent article qui j'avais lu à l'époque sur l'avènement des AGI (Artificial Général Intelligence) et ASI (Artificial Super intelligence)
Ça revient au goût du jour avec tout ce qu'il se passe actuellement autour des LLM comme GPT-4.
L'article explore les concepts d'AGI et d'ASI avec les probabilités d'apparition dans les prochaines années, la vitesse à laquelle pourrait aller la transition.
C'est surtout vertigineux d'essayer de réaliser la portée d'une ASI et la manière donc elle nous considérera.
Un article plus posé sur l'éventuel remplacement des moteurs de recherche par des LLM.
Il faut considéré les problèmes de biais induit par les données sur lesquels les modèles sont entrainés mais il faut surtout prendre en compte le coût d'entrainement et de génération d'une réponse.
Pour avoir un modèle à jour, il faut constamment l'entrainer et ça coûte très cher.
Pareil pour une réponse qui coûte beaucoup plus cher à générer (Google traite ~10 000 requêtes/sec)
A priori, les LLM vont surtout être utilisé pour répondre à des sujets précis. Par exemple, entrainer un LLM sur toutes les publications relatives au cancer des 20 dernières années.
Cerebras, une entreprise qui fait aussi des supercalculateurs, a publié en Open Source un modèle LLM avec le code ET le modèle entrainé!
C'est le premier modèle 100% open source en licence Apache 2.
Bon c'était plus ou moins sur qu'on se retrouve avec de la publicité dans toutes ces réponses générées par des IA.
Une extension navigateur qui permet de manipuler les site web avec le langage naturel.
Voir aussi:
La face cachée de l'IA qui est loin d'être aussi magique qu'on le croit.
Des milliers de travailleurs en provenances des pays moins développés ont pour tâche d'annoter les datasets pour entrainer les grands modèles des GAFAM et startups.
Une lib de scrapping qui utilise GPT pour extraire les informations voulues depuis une page web.
Ça fonctionne assez bien et ça permet de réduire le coût total en faisant un clean sur le HTML.
Un peut spécifier un budget de token et le scrapper s'arrête une fois le budget consommé.
Responsive AI Licence (RAIL) est une licence pour les modèles entraînés (weight) que l'ont pourrait considérer comme Open Source.
Elle permet la réutilisation, la modification, même dans un contexte commercial tout comme la licence Apache 2.
Néanmoins elle restreint l'usage du modèle à des utilisation "harmful" qui restent à la discrétion des créateurs en fonction des usages qui apparaîtront.
L'autre différence est son caractère copyleft (ou "viral") comme les licences GPL car un modèle dérivé doit reproduire la licence
Le point de vu de Bill Gates sur les récentes avancées en IA.
Selon lui les IA vont notamment permettre de grandes avancées dans la productivité, la santé et l'éducation.
Une application de bout en bout qui créé des histoires pour les enfants en utilisant des services AWS et OpenAI.
Ça génère l'histoire, l'audio, une image de couverture et sauvegarde le tout.
Write a title and a rhyming story on 2 main characters called Parker and Jackson. The story needs to be set within the scene haunted woods and be at least 200 words long