Un LLM basé sur Llama 2 mais avec seulement 1.1 milliards de paramètres.

Tout comme les modèles Gemini Nano, une taille aussi petite permet de faire tourner le modèle sur un smartphone par exemple.

Ils estiment qu'il ne faut que 500 Mo de RAM pour faire fonctionner TinyLlama.

Les performances sur le benchmark CommonSense sont de 51 contre 63 (Llama 7B) et 71 (Llama 70B). GPT-3.5 et GPT-4 obtiennent respectivement 85 et 96.