Pour résoudre les tâches du benchmark ARC-AGI, les requêtes faites à o3 coutaient en moyenne 1000€ !

Ce genre de prix est vraiment prohibitif même pour des tâches compliquées car à ce prix, autant demandé à un humain.

La version "low-compute" du modèle o3 s'en tire avec avec 10 points de moins (76%) mais pour seulement 20$ par tâche.

Les résultats du modèle d'OpenAI o3 au benchmark ARC-AGI sont contestés, notamment parce qu'OpenAI a avoué avoir entrainé son modèle avec les données des exercices.