Ce site propose des comparatifs de performances des LLMs.

C'est une mine d'or pour le choix du modèle, notamment parce qu'il propose un comparatif en 3 dimensions:

• performance de raisonnement
• vitesse de génération
• prix

Voici les résultats pour les principaux LLM privés:

Palmarès des performances:

• o1 (85)
• Claude 3.5 Sonnet (80)
• Gemini 1.5 Pro (80)
• GPT-4o (77)

Palmarès de la vitesse:

• Gemini 1.5 Flash (194 tokens/s)
• GPT-4o (91)
• Gemini 1.5 pro (59)
• Claude 3.5 Sonnet (55)

Palmarès du prix (c'est une moyenne input/ouput):

• Gemini 1.5 Flash (0.1$/Mtoken)
• Gemini 1.5 Pro (2.2)
• GPT-4o (4.4)
• Claude 3.5 Sonnet (6)
• o1 (26.3)