CoALA propose une méthode d'organisation des Assistants basée sur les sciences cognitives et notamment les différents types de mémoire à long terme:
- procédural: instructions générales de fonctionnement (les poids initiaux du LLM et le code métier de l'Assistant)
- sémantique: une base de connaissances
- épisodique: les actions passées
La mémoire à court terme (aussi appelée mémoire de travail) est elle représentée par le contenu du prompt utilisé pour répondre.
Ils décrivent notamment des actions internes qui devraient réaliser le LLM pour intéragir avec sa mémoire:
- retrieval: lire dans la mémoire long terme
- reasoning: mettre à jour la mémoire court terme de travail (le prompt)
- learning: écrire dans la mémoire long terme
On retrouve des idées utilisées par Generative Agents
La fameuse expérience ou des LLMs communiquent entre eux dans un jeux vidéo type animal crossing.
Ils ont poussé le concept de mémoire assez loin ce qui a permis aux Agents d'organiser des évènements entre eux car ils avaient la possibilité de se rappeler et de propager l'information.
Ils introduisent une fonction pour trier les informations en mémoire selon la date de l'évènement, son importance et sa pertinence face à la situation actuelle.
La mémoire est également retravaillé avec le concept de reflection qui synthétise la mémoire en des informations de plus haut niveau.