Un REX sur l'utilisation de LLMs en production.

Prompt Engineering:

• mettre l'accent sur les techniques de prompting (chain of thought etc)
• travailler sur la structure des données en entrée et en sortie

RAG:

• utiliser de la recherche hybride (vecteur + keyword)
• préférer le RAG au fine tuning pour la recherche de connaissance
• les long contextes des modèles ne rendront pas les RAG obsolètes

LLM Engineering:

• utiliser des workflow LLM qui mélangent prompt engineering et software engineering pour de meilleurs résultats
• faire générer des plans aux Agents afin d'améliorer la reproductibilité des résultats
• ne pas oublier de faire varier les méta-paramètres (temperature, top_p, etc)
• mettre en place des stratégie de cache

Test et évaluation:

• utiliser des tests unitaires avec des exemples réels
• évaluer les résultats avec d'autres LLM
• les évaluations apparaissent entre 5 et 10% du temps même sur des tâches simples