Supabase sort une gamme de fonctionnalité pour faire tourner des modèles d'embedding et des LLMs dans leurs Edge Functions.

Les modèles tournent sur le runtime ONNX qui avec Transformer.js est la référence pour faire de l'inférence en Javascript et dans le navigateur (CPU et GPU)

Ils ont choisi Ollama avec un cluster de GPU pour faire tourner les LLMs (Mistral, LlaMa, etc)

En tout cas ça permet de faire très rapidement et de bout en bout des projets avec de la GenAI comme un RAG:

• Vector database (PgVector)
• Embedding model
• Inférence LLM