Scaleway propose une offre d'inférence managé avec les modèles de Mistral (aussi LlaMa 3 et quelques autres).
Le prix dépend du GPU, c'est 0.93€/h sur des L4 (670€/mois) et 3.40€/h sur des H100 (2482€/mois)
Les plus gros modèles (LlaMa 3 et Mistral 8x7b) nécessitent des H100.
A noter qu'ils développent aussi une Generative API pour proposer de l'inférence à la demande comme sur l'API d'OpenAI (c'est encore en beta)
Encore une attaque sur AWS S3 sur un bucket publique cette fois.
Si le nom de votre bucket S3 est publique alors vous pouvez vous faire DDoS "financièrement" car les requêtes à S3 sont facturées même quand elles ne sont pas correctement authentifiées.
En gros, n'importe qui peut faire des millions de requête PUT sur un bucket et le propriétaire sera facturé 0.05$ / 1000 requêtes
Stability AI n'a plus d'argent pour payer ses factures de cloud de presque 100 millions de dollars avec seulement 11 millions de revenus.
Dans les prochains mois, je pense que de nombreux fournisseurs de cloud IA vont suivre le même chemin vu que beaucoup on eu la même tactique en cassant les prix pour attirer des utilisateurs.
Après Google, c'est au tour d'Amazon de réduire considérablement le coût de transit sortant des données de ses clients (Egress fees)
100 Go gratuits par mois puis si on veut partir, des crédits dans une durée limitée pour combler ce qu'il manque.
Tout ça grâce à une loi Européenne ;-)
Voir les tarifs exorbitant pratiqués auparavant https://links.aschen.tech/shaare/Q0rZJw
Une lib AWS qui wrap toute la complexité pour déployer une application fullstack sur AWS.
Ça permet d'utiliser les services AWS comme EC2, S3, RDS (Postgres), de l'authentification et pleins d'autre chose simplement en instanciant des classes dans du code.
Un site qui recense toutes les fuites ou utilisation illicite des données stockées dans des cloud
Un serverless Python spécialisé dans l'exécution des modèles d'IA
Retour d'expérience sur une sortie de cloud par Hey/Basecamp.
Sans changer la taille de l'équipe Infra, ils ont mis 6 mois à tous migrer et ils vont maintenant économiser 1.5 millions de dollars par an
L'histoire d'une migration de AWS sur des serveurs custom.
Encore une fois, ce sont les transferts de données qui coutaient le plus cher à l'entreprise.
C'est très souvent un coût "caché" car très compliqué à évaluer.
Leur solution finale se base sur:
- serveurs bare metal pour le computing
- MinIO pour le stockage S3-like
- Cassandra pour la base de données
Les cloud comme AWS ont une tarification du traffic réseau et surtout du traffic réseau externe pour vous garder un maximum au sein de leurs écosystèmes.
Il vaut mieux se tourner vers des hebergeurs comme OVH ou Scaleway qui eux ne facturent pas le traffic https://links.aschen.tech/shaare/Q0rZJw
Un outil pour extraire de l'information de vos divers services cloud et SaaS en SQL.
Ils supportent 200 services dont les cloud providers (AWS, GCP etc) mais aussi des outils SaaS genre Github et Slack
Comparatif des prix pour 50TB de données sortant pour les principaux cloud du marché.
On a des prix exorbitant à 4500$ pour AWS par exemple. Un bon moyen de s'assurer un vendor lock-in.
Encore une bonne raison de choisir OVH ou Scaleway avec 0$ de coût pour le traffic sortant !