Daily Shaarli
July 9, 2023
LongLLaMA is a large language model capable of handling long contexts. It is based on OpenLLaMA and fine-tuned with the Focused Transformer (FoT) method.
Un fork de LLaMA qui peut utiliser des contextes de 256K tokens contre 2048 pour le modèle originel.
Le code et le modèle entrainé sont sous licence Apache 2.0