OpenAI a sorti un nouveau benchmark de questions/réponses: SimpleQA

Ce benchmark permet notamment de tester la capacité des LLMs à répondre correctement à des questions, sans tomber dans les hallucinations.

Les résultats sont assez mauvais avec 48% d'hallucination (réponses incorrectes présentées comme telles) pour leur modèle o1, 61% pour GPT-4o et 36% pour Claude 3.5 Sonnet.

Le modèle Claude 3.5 Sonnet refuse plus souvent de répondre lorsqu'il ne connait pas la réponse (35 % du temps), à contrario, le modèle GPT-4o refuse de répondre seulement dans 1% des cas et c'est à peine plus pour o1 avec un refus 9% du temps.

On voit donc que Claude 3.5 Sonnet possède moins de connaissances générales mais est moins prône aux hallucinations.