Un outil de workflow graphique avec des nœuds pour créer des pipeline de création d'images avec Stable Diffusion
Une manière de contrôler la génération d'images Stable Diffusion comme les ControlNet.
SDXL Turbo est une version améliorée de Stable Diffusion XL qui permet de générer une image en seulement 200ms sur une carte A100 !
Concrètement il n'y a qu'une seule étape de génération au lieu de 20 à 50 aujourd'hui. Ces étapes de générations enlèvent des couches de "bruit" successive.
Le nom de la nouvelle méthode est Adversarial Diffusion Distillation (ADD)
Le modèle et les poids sont Open Source mais sans utilisation commerciale
Tout ce qu'il faut pour entraîner un LoRA depuis un set d'images.
Un LoRA est un sous modèle d'image qui permet de créer des images dans le même genre que ses images d'entraînement.
ControlNet permet de controller la génération d'images faite avec StableDiffusion.
C'est notamment utilisé pour générer des création cohérentes entre elles par exemple dans un jeu vidéo.
Un article de Replicate sur l'état des outils tech pour faire du machine learning.
If you wanted to build a website 20 years ago it felt like trying to use machine learning today.
C'est vrai qu'avant Stable Diffusion, tous les outils pour générer des images étaient impossibles à utiliser par le commun des mortels et même pour les initiés.
Pour faciliter l'utilisation des modèles, ils ont créé Cog qui est une sorte de Docker pour le ML.
Ça réglera pas les problèmes de configuration de GPU mais au moins ça permet de packager et d'utiliser simplement des modèles 👍
Une amélioration de Dreambooth pour Stable Diffusion afin d'entraîner ses propres modèles puis de générer des images en rapport.
Par exemple en lui envoyant plusieurs images de vous, il sera capable de générer des images vous représentant dans différentes situation.
LoRA est beaucoup plus efficace, 8 min d'entraînement et un modèle de 5Mo contre 30 min et plusieurs Go pour Dreambooth
Des mecs ont entrainé Stable Diffusion avec des images de spectrogramme musicaux.
Le résultat? Avec un prompt on génère un spectrogramme qui peut ensuite être converti en son.
funk bassline with a jazzy saxophone solo
Vous avez envie de jouer avec Stable Diffusion mais vous n'avez pas de GPU?
J'ai fait un tutoriel pour utiliser Stable Diffusion UI sur les instance GPU Scaleway (0.8€/h)