Une étude qui démontre que les performances de génération ("raisonnement") des LLMs peuvent être impactées lorsque l'on demande une sortie dans un format spécifique comme du JSON.

Les LLMs suivant ont été testés:

• Gemini 1.5 flash: presque pas de différence
• Claude 3 haiku: baisse significative en JSON, pas en XML ou YAML
• GPT 3.5 Turbo: baisse significative en JSON, XML et meilleures perfs en Yaml
• LlaMa 3 8B: baisse de performance dans les 3 formats

Comme à chaque fois que l'on cherche à contraindre la génération, par des formats ou des règles d'éthique, la qualité de cette dernière est moindre.

Pour les formats, je pense qu'une chaine de prompt pourrait améliorer les performances avec un premier prompt qui sortirait une génération en texte brute et un deuxième prompt qui prendrait le texte tel quel pour le formater en JSON par exemple.