Auto-GPT utilise un LLM et est capable de:
- récupérer des informations sur internet
- conserver des informations en mémoire
- générer sa propre liste de tâche pour répondre à une question
Ça permet d'avoir des agents capable d'améliorer leurs réponses et de réfléchir à des tâches plus complexes.
Pleins d'exemples ici https://twitter.com/NathanLands/status/1646101184384573446?s=20
Une méthode pour ajouter un watermark sur le texte généré par un LLM.
Ça permet de s'assurer qu'un modèle n'est pas utilisé de manière frauduleuse par exemple.
C'est utilisé par HuggingFace par exemple https://github.com/huggingface/text-generation-inference
Un exemple pour compresser un input pour un LLM en utilisant un LLM.
Ici une simple phrase exprime un paragraphe entier:
RcS:skptic&rspctfl_cnstrctvCritic;IdeaPrpsl:frmbHnstCrtcsm
Explication très clair du fonctionnement des modèles Transformer de type GPT.
Une vidéo explicative sur la méthode utilisée par les réseaux de neurones pour comprendre le langage.
Chaque mot est représenté par un vecteur à N dimensions (plusieurs centaines) et cela permet notamment d'intégrer la notion de mots similaires en terme de sens.
On utilise ensuite des réseaux récurrents pour comprendre le sens d'une phrase dans les tâches de classifications ou de traduction.
Pour les tâches de génération, la notion de mémoire est importante et d'autres types de réseaux peuvent être utilisés (LSTM ou GRU).
Mais c'est une nouvelle architecture appellée Transformer qui est utilisé par les modèles récents comme GPT.
Un autre son de cloche sur "l'avènements" des IA génératives.
Tout le bruit que l'on entend autour du "danger" et de la perte de jobs pourrait être un formidable coup de com' pour OpenAI.
Goldman Sachs a également fait une étude sur les emplois qui pourrait être remplacé par des IA génératives.
À elle seule, l’IA générative pourrait remplacer un quart des travailleurs actuels.
On y trouve les métiers suivants:
- développeur informatique
- journaliste
- assistant juridique
- analyste de marché
- enseignant
- analyste financier
- trader
- graphiste
- secrétaire
- comptable
- service client
Les métiers manuels sont bien sur les plus épargnés.
l’IA pourrait fortement augmenter la productivité mondiale. Au total, le PIB mondial annuel pourrait augmenter de 7% grâce à cette technologie !
Le risque est bien sur que cet accroissement de la productivité soit capté par une minorité et fasse grandir les inégalités.
Un excellent article qui j'avais lu à l'époque sur l'avènement des AGI (Artificial Général Intelligence) et ASI (Artificial Super intelligence)
Ça revient au goût du jour avec tout ce qu'il se passe actuellement autour des LLM comme GPT-4.
L'article explore les concepts d'AGI et d'ASI avec les probabilités d'apparition dans les prochaines années, la vitesse à laquelle pourrait aller la transition.
C'est surtout vertigineux d'essayer de réaliser la portée d'une ASI et la manière donc elle nous considérera.
Un article plus posé sur l'éventuel remplacement des moteurs de recherche par des LLM.
Il faut considéré les problèmes de biais induit par les données sur lesquels les modèles sont entrainés mais il faut surtout prendre en compte le coût d'entrainement et de génération d'une réponse.
Pour avoir un modèle à jour, il faut constamment l'entrainer et ça coûte très cher.
Pareil pour une réponse qui coûte beaucoup plus cher à générer (Google traite ~10 000 requêtes/sec)
A priori, les LLM vont surtout être utilisé pour répondre à des sujets précis. Par exemple, entrainer un LLM sur toutes les publications relatives au cancer des 20 dernières années.
Cerebras, une entreprise qui fait aussi des supercalculateurs, a publié en Open Source un modèle LLM avec le code ET le modèle entrainé!
C'est le premier modèle 100% open source en licence Apache 2.
Bon c'était plus ou moins sur qu'on se retrouve avec de la publicité dans toutes ces réponses générées par des IA.
Une extension navigateur qui permet de manipuler les site web avec le langage naturel.
Voir aussi:
La face cachée de l'IA qui est loin d'être aussi magique qu'on le croit.
Des milliers de travailleurs en provenances des pays moins développés ont pour tâche d'annoter les datasets pour entrainer les grands modèles des GAFAM et startups.
Une lib de scrapping qui utilise GPT pour extraire les informations voulues depuis une page web.
Ça fonctionne assez bien et ça permet de réduire le coût total en faisant un clean sur le HTML.
Un peut spécifier un budget de token et le scrapper s'arrête une fois le budget consommé.
Responsive AI Licence (RAIL) est une licence pour les modèles entraînés (weight) que l'ont pourrait considérer comme Open Source.
Elle permet la réutilisation, la modification, même dans un contexte commercial tout comme la licence Apache 2.
Néanmoins elle restreint l'usage du modèle à des utilisation "harmful" qui restent à la discrétion des créateurs en fonction des usages qui apparaîtront.
L'autre différence est son caractère copyleft (ou "viral") comme les licences GPL car un modèle dérivé doit reproduire la licence
Le point de vu de Bill Gates sur les récentes avancées en IA.
Selon lui les IA vont notamment permettre de grandes avancées dans la productivité, la santé et l'éducation.
Une application de bout en bout qui créé des histoires pour les enfants en utilisant des services AWS et OpenAI.
Ça génère l'histoire, l'audio, une image de couverture et sauvegarde le tout.
Write a title and a rhyming story on 2 main characters called Parker and Jackson. The story needs to be set within the scene haunted woods and be at least 200 words long
Google met des IA génératives dans sa suite Google Workspace donc dans Docs, Sheet, Slides etc
Des centaines de millions d'utilisateurs à travers le monde vont avoir accès à une IA générative pour écrire leur contenu.
GPT-4 commence à être rendu disponible sur liste d'attente.
Ils ont fait passé des examens non corrigés sur une vingtaine de sujets et GPT-4 a obtenu la moyenne dans 12 sujets sur 26!
Une autre nouveauté, GPT-4 peut aussi accepter les images en complément du texte.
ControlNet permet de controller la génération d'images faite avec StableDiffusion.
C'est notamment utilisé pour générer des création cohérentes entre elles par exemple dans un jeu vidéo.