OpenAI propose un pipeline complet de fine tuning directement depuis son API.

Cela permet de fine tuné un modèle depuis les input/output d'un plus grand modèle.

Concrètement, cela peut permettre de spécialiser GPT-4o-mini avec GPT-4o voir o1 pour avoir un modèle rapide et pas cher spécialisé sur une tâche précise.

C'est assez simple d'utilisation car directement intégré:

• on ajoute un paramètre store: true lors des appels API pour créer un dataset
• on crée la baseline d'évaluation du dataset avec le modèle
• on fine tune le plus petit modèle avec le dataset
• on évalue le modèle fine tuné avec le dataset par rapport à la baseline

Mistral ouvre le fine-tuning de ses modèles.

Techniquement, c'est un fine tuning LoRa ou très peu de paramètres sont affectés. Ça réduit drastiquement les coûts tout en offrant de bonnes performances de génération (selon eux)

Bon alors techniquement c'était déjà possible vu que les modèles sont open source mais concrètement ils simplifient la tâches aux développeurs en proposant 3 services:

• mistral-finetune: open source et gratuit, c'est un repo qui contient le code nécessaire pour fine tuner un modèle Mistral
• Serverless fine-tuning: une API sur leur cloud pour fine-tuner les modèles sans se prendre la tête ($)
• Custom training service: une offre de service ou le fine tuning est pris en charge de A à Z par les équipes de Mistral ($$$)

Un SaaS qui permet de fine tune différents LLMs