OpenAI possède une fonctionnalité qui permet d'améliorer la latence de la complétion dans les cas ou l'ont peut fournir une partie de la réponse qui sera générée.

L'exemple le plus parlant est celui de la modification d'un texte existant, par exemple si l'on souhaite changer le type d'une variable dans du code, la requête ressemblera à quelque chose du genre:

• le code entier dans le prompt
• l'instruction du changement dans le prompt
• le code entier dans le paramètre prediction

Comme la majeure partie de la réponse sera similaire au code fournit dans prediction, OpenAI fournira une réponse plus rapidement en plus de ne pas faire payer ces tokens.

Cette fonctionnalité est clairement destinée aux outils de génération de code même si on peut imaginer l'utiliser dans d'autres cas.

J'avais écrit un article qui propose une autre méthode pour modifier un texte sans devoir le re-générer dans son intégralité Modifier efficacement un texte avec un Agent LLM