Groq pivote vers le cloud plutôt que le hardware.
Ils envisagent de vendre leurs LPU à de grosses boites mais sinon tout se fera sur le nouveau cloud qu'ils prévoient de déployer.
Clairement c'est game changer pour eux car la marge va exploser en vendant du cloud plutôt que du hardware.
Groq propose une technologie pour accélérer la vitesse d'inférence des LLMs.
Le résultat est impressionnant, ils arrivent à générer plus de 300 tokens/seconde avec Llama 2 70B.
- Il faut 8 GPU A100 à 30$ de l'heure chez Amazon pour arriver au même résultat
- la génération est de 35 tokens/seconde sur le GPU d'un particulier (Nvidia 4090)
Le moteur qu'il utilise s'appelle Groq LPU. Je suppose qu'ils utilisent la quantization et d'autres techniques comme PowerInfer
Ils développent aussi leur propre hardware, ce sont des puces spécialisés dans l'inférence.
Les opérations couteuses comme les multiplications de matrice sont gravés directement dans le silicium ce qui multiplie la vitesse par plusieurs ordres de grandeur.
Après les TPU de Google et les NPU de Microsoft, Groq propose une alternative hardware crédible sur un marché très dur à adresser.
Microsoft annonce développer des micro processeurs (Neural Processing Unit, NPU) dédiés aux algorithme des IA génératives, un peu comme les cartes graphiques sont normalement dédiées au calcul sur les images.
Le but est de permettre l'utilisation de ces algorithme directement depuis l'ordinateur personnel des utilisateurs de Windows.
ça rappel les TPU (Tensor Processing Unit) de Google pour les solutions cloud et Tensorflow https://cloud.google.com/tpu
Les USA ont durci leurs règles d'exports concernant les semi-conducteurs. Ces nouvelles règles ont pour but d'affaiblir l'industrie de micro-processeurs chinoise, notamment ceux utilisés par l'armée.
Dans ce lot de règle, on retrouve notamment l'interdiction pour les ressortissants US de travailler pour des entreprises chinoises du secteur.
En gros pour la plupart c'était soit perdre son passport US, soit rester en Chine, autant dire qu'en une nuit l'industrie chinoise a été décapité d'une bonne partie de ses employés.