Claude 2.1 possède une fenêtre de contexte énorme de 200K tokens.

Bien sur, plus il y a de tokens et plus il est difficile pour le modèle de les prendre tous en compte.

Ici, les chercheurs d'Anthropic ont réussi à passer de 27% à 98% de succès sur des tâches de récupération d'informations passées dans les 200K tokens de contexte.

Ça se résume à une seule phrase de prompt engineering placée à la fin: Here is the most relevant sentence in the context:

(Voir aussi cet article qui évalue les performances des instructions dans un prompt en fonction de leur position)