Koyeb est un cloud serverless assez moderne avec un scalling automatique en fonction de pleins de paramètres (RPS, active connections, latence, etc)
Ils proposent maintenant des GPU avec une facturation à la seconde !
C'est super pour l'inférence avec des modèles Open Source. Que ce soit des petits modèles sur un GPU à 0.5$/h ou un LlaMa 3 sur un H100 à 3.30$/h.
Un article très détaillé sur le fonctionnement des Cloudflare Worker (le service serverless de Cloudflare).
Beaucoup de détails sont donnés sur la manière dont Cloudflare sécurise des environnements isolés pour ses clients et notamment sur les méthodes utilisés pour mitiger les attaques Spectre
Un autre runtime JS fait par AWS et spécialisé dans le démarrage rapide pour leur infrastructure Lambda.
Ça vient morceler un peu plus l'écosystème JS avec de plus en plus de runtime qui supportent tous plus ou moins des choses différentes: Node, Deno, Bun, Cloudflare Worker, Edge (Vercel), WinterJS et ajd LLRT.
Au final tous ces runtime utilisent quand même la base de Node.js car niveau perfs aucun runtime ne bat v8 et son JIT dans lequel Google a investit des centaines de millions de $
Un cloud serverless qui fait tourner des fonctions Python.
Ils ont notamment tout un service de GPU à la demande pour faire tourner des tâches de ML comme de la transcription audio, de l'inférence, etc
Utile dans une démarche GenAI + cloud pour mieux maitriser les coûts
Mistral 7B est disponible dans les workers de Cloudflare.
C'est une bonne nouvelle car ces worker sont distribués géographiquement et donc on peut espérer une latence d'inférence optimale n'importe ou dans le monde.
Une lib AWS qui wrap toute la complexité pour déployer une application fullstack sur AWS.
Ça permet d'utiliser les services AWS comme EC2, S3, RDS (Postgres), de l'authentification et pleins d'autre chose simplement en instanciant des classes dans du code.
Retour d'expérience sur ce qui doit être le plus gros cluster Serverless du monde, celui de Meta (plus de 1 millions de d'exécutions/seconde en pic).
Ils ont développé une solution custom (XFaaS) et ils partagent les retours sur une utilisation massive du serverless.
La deuxième partie de l'article parle de la place de XFaaS dans l'architecture de Meta
Un serverless Python spécialisé dans l'exécution des modèles d'IA
Excellent article technique sur la manière dont Prisma à amélioré les performances au démarrage de son ORM.
La majorité du chemin a été achevé en simplifiant le protocol de communication interne en passant à du simple JSON.
Sinon on retrouve des choses assez classiques en terme d'optimisation, du lazy loading, pas de couche de chiffrement superflue et d'autres choses.
L'article décrit aussi le cycle de démarrage d'une lambda AWS.
Une explication du fonctionnement des Lambda chez AWS.
On apprend notamment de quelle manière les Lambda sont démarrées, les étapes du cycle d'initialisation, démarrage à chaud/à froid et les quotas
Je ne m'étais jamais attardé sur les quota, par exemple la limite de "Burst concurrency" qui limite le nombre de lambda executées en même temps (entre 500 et 3000 selon les régions.
Une alternative à OpenFaaS pour du Function as a Service