Une faille qui affecte les CPU AMD.

C'est causé par l'utilisation de certaines instructions spécialisées de l'ensemble AVX2 qui lors d'une mauvaise exécution spéculative revient à une faille de type use-after-free.

Un wrapper pour utiliser les LLMs open source (LlaMa, Mistral, etc)

La CLI reprend l'interface de Docker avec des ollama pull llama2 ou ollama run llama2.

ça tourne dans le CPU et demande pas mal de RAM (32Go pour les modèles en version 13B)

Des modèles obtenu en fine tunant LlaMa v2 qui obtiennent de très bonnes performances même face à GPT3.5 et GPT4