Des chercheurs ont réussi à avoir de meilleurs résultats que BERT et son réseau de neurones sur des tâches de classification de texte avec un classifieur très simple utilisant l'algorithme de compression gzip!
Un exemple pour compresser un input pour un LLM en utilisant un LLM.
Ici une simple phrase exprime un paragraphe entier:
RcS:skptic&rspctfl_cnstrctvCritic;IdeaPrpsl:frmbHnstCrtcsm
Meta annoncent un nouveau format de compression basé sur une méthode employant un réseau de neurones.
Ce format fait jusqu'à 10x mieux que MP3 avec des compressions entre 1.5 et 12 Kbp/s (64 Kbp/s en MP3)
La décompression peut se faire sur un simple core CPU ce qui pourrait en faire un format compatible smartphone.
Une utilisation intéressante de Stable Diffusion pour compresser des images.
Stable Diffusion est un algorithme de génération d'image à partir d'un texte.
Un compresseur PNG qui va modifier légèrement les couleurs de votre image pour avoir une palette plus petite.
A l'oeil ça ne se voit presque pas mais le poids de l'image peut être réduit de plus de 75%!
Un algorithme de compression spécialisé dans les séquences numériques (e.g. Time Series)