Une technique qui améliore la résolution de problèmes avec du code.

C'est une variante de Chain of Thought pour la résolution de problèmes et c'est d'ailleurs sur ce genre de benchmark qu'ils ont évalué le modèle et non pas des benchmark de pure génération de code.

La méthode consiste à découper le problème en sous étape et ensuite soit:

• de générer le code Python de la sous étape et d'exécuter le tout à la fin
• d'utiliser un LLM pour pseudo exécuter le code de l'étape