Un article qui évalue la performance des LLMs en fonction de l'endroit ou sont les informations dans le prompt.

Avec des prompts de plus en plus long, les LLMs ont tendance à "perdre" de l'information car la complexité du mécanisme d'attention est fonction du carré de la taille du prompt.

Les chercheurs ont trouvé que les informations placées au début et à la fin avaient plus de chance d'être retrouvées/utilisées.

C'est ce qui est placé au début du prompt qui a le plus d'importance pour le LLM, puis ce qui est placé à la fin et tout ce qui est au milieu

Microsoft lance aussi son service de création d'assistant à la "GPT" avec une intégration avec tous les outils Office 365.

Une alternative à Ngrok et en plus ça peut être hébergé sur son propre serveur.

Bore permet de rediriger du traffic depuis internet vers un processus local. Ça permet par exemple de recevoir des webhooks en local