Une implémentation de GPT2 en 1000 lignes de code C.
Karpathy cherche à dénoncer la complexité de l'écosystème de machine learning en général avec des centaines de Mo (!) de code Python à télécharger pour faire tourner le moindre programme d'IA.
Des réseaux de neurones de Google qui génèrent de l'audio à partir de prompt
Un image upscaler basée sur une IA.
Ça permet d'augmenter la qualité d'une image
Un très bon article qui résume la situation actuel dans le monde des IA spécialisées dans le langage naturelle comme GPT3 et bien sur son accolyte ChatGPT.
Au délà de l'effet whaou (mérité!), l'auteur cite notamment 4 limites:
- pas de véritable compréhension des réponses par l'IA ce qui engendre des contresens, non-senses et autres incohérences
- pas de notion d'éthique
- difficulté de contextualisation, même dans le cadre d'un chatbot d'entreprise, ChatGPT se fera une joie de répondre à n'importe quelle question (sauf si on lui indique de ne pas le faire)
- le coût économique et écologique
Je pense qu'il y a d'autres choses à prendre en compte, typiquement si le contenu est généré par des IA (DALL-E et ChatGPT) alors ces mêmes IA s'entraineront sur ce contenu, ce qui entrainera potentiellement un affaiblissement des modèles (voir https://links.aschen.tech/shaare/40uSng)
La ville de Montpellier interdit la reconnaissance faciale.
Pour appuyer cette décision, la mairie a demander à ChatGPT des arguments en faveur de chaque camp puis à pris une décision en fonction des réponses.
Des mecs ont entrainé Stable Diffusion avec des images de spectrogramme musicaux.
Le résultat? Avec un prompt on génère un spectrogramme qui peut ensuite être converti en son.
funk bassline with a jazzy saxophone solo
Très intéressant point de vue de Ploum.
Si les IA s'entraînent avec ce qu'il y a sur internet et que leurs créations se retrouvent sur internet, elle vont continuer à s'entraîner avec leurs propres créations, ce qui conduira potentiellement à un affaiblissement de la pertinence des modèles.
Est-ce la fin des moteurs de recherche?
ChatGPT de OpenAI est capable de générer automatiquement des réponses à des questions complexes.
Les réponses sont parfois de meilleur qualité que celle que l'on peut trouver sur Google ou Stackoverflow.
Il est possible d'utiliser le model DreamBooth qui permet de générer des images à partir de photo de soi directement depuis l'API de Replicate!
RESPONSE=$(curl -X POST -H "Authorization: Token $REPLICATE_API_TOKEN" https://dreambooth-api-experimental.replicate.com/v1/upload/data.zip)
curl -X PUT -H "Content-Type: application/zip" --upload-file data.zip "$(jq -r ".upload_url" <<< "$RESPONSE")"
SERVING_URL=$(jq -r ".serving_url" <<< $RESPONSE)
Un outil open source basé sur l'algorithme Demucs de Facebook pour isoler n'importe quelle partie d'un instrument de musique !
Génial pour s'entraîner sur ses morceaux préférés 😄
Une IA qui améliore les performances d'une autre IA.
Une IA de Google a trouvé comment multiplier plus efficacement des matrices de nombres.
C'est une opération très commune dans les réseaux de neurones mais aussi dans les programmes graphiques.
Pour multiplier une matrice de 4x5 par une matrice de 5x5, le meilleure algorithme humain utilisait 80 multiplication et AlphaTensor (le nom de cette IA) a trouvé une méthode avec 76 multiplications!
(Merci Guillaume pour le partage)
Dans la même mouvance que Dall-E, Stable Diffusion et MidJourney, une IA pour générer des modèles 3D à partir de texte.
Une utilisation intéressante de Stable Diffusion pour compresser des images.
Stable Diffusion est un algorithme de génération d'image à partir d'un texte.
Après la génération d'image à partir d'un texte, maintenant Facebook propose la génération de vidéo à partir d'un texte
Un site qui permet de vendre des images générées par ordinateur, sauf qu'il ne vend pas les images mais le texte utilisé pour les générer! (le "prompt")
On parle de "prompt engineer" en parlant d'une personne qui manipule des IA pour générer des images à moindre coût.
Whoa ça c'est de l'avancée en IA qui claque!
Ils ont réussi à analyser les signaux cérébraux pour comprendre quels sont les mots qu'auraient voulu utiliser des personnes incapable de parler.
Les chercheurs arrivent à reconnaitre 793 mots à 73%.
Une image générée avec MindJourney gagne un concours d'art digital aux États-Unis.
La personne à quand même fait des centaines d'essais pour arriver à un résultat satisfaisant.
C'est quelque chose qui arrivera de plus en plus fréquemment et le monde du design se transformera pour inclure les IA avec des spécialistes en manipulation.
Un outil qui permet d'améliorer la résolution des images grâce à un réseau de neurone
Une excellente suite d'articles sur les algorithmes génétiques.
Les algorithmes génétiques sont une famille d'algorithmes d'intelligence artificielle qui s'inspire du fonctionnement du vivant pour trouver une solution à un problème.
Individus adaptés, reproduction, mutations, c'est une reproduction de la théorie de l'évolution en informatique.
Une implémentation C++ 👉 https://github.com/Aschen/genetics-algo
J'ai eu l'occasion d'utiliser concrètement ce genre d'algorithmes pour un bot de trading, même si cela n'avait pas marché (sur-apprentissage) c'était quand même très instructif.
Amazon annonce une alternative à Copilot (Github/Microsoft).
Il y a fort à parier que leur IA a aussi été entraînée avec le code open source sur Github.
A noter que Github Copilot est maintenant payant (10$/mois)