Une explication intéressante des mécanismes internes des LLMs qui conduise à la génération de résumés incorrects.

L'auteur fait remarquer que dans la plupart des cas, le soit disant résumé est enfaite une version raccourcie du texte car le LLM ne comprend pas vraiment ce qui est important.

Les poids de l'entrainement du modèle pèsent souvent beaucoup plus lourd que le contexte fourni dans le prompt et on peut remarquer une "dérivation" du modèle vers ces poids plutôt que vers le contexte: ce sont les hallucinations.