Monthly Shaarli
September, 2024
Des exemples d'utilisation de Postgres pour:
- un système de queue
- du pub/sub
- lock de ressources
Après les perfs ne sont pas les mêmes et Redis tiendra beaucoup plus la charge et avec une latence plus faible.
On peut maintenant donner des instructions custom à Github Copilot pour guider la génération.
C'est très pratique pour que le code généré suive systématiquement nos standards de code.
On peut spécifier des instructions une par une ou un fichier qui en contient plusieurs.
Un framework pour développer des extensions navigateur
Un modèle supportant une fenêtre de contexte de 100M de tokens.
L'avancée c'est surtout une réduction drastique de la mémoire nécessaire, LlaMa 3.1 405B aurait besoin de 638 H100 pour une inférence à 100M de tokens alors que le modèle LTM-2-mini en aurait besoin que d'une.
Pour l'instant, il faut prendre cette avancée avec des pincettes car leur modèle est beaucoup plus petit que LlaMa 3.1 405B.
Le seul benchmark utilisé est celui de "Needle in a haystack" qui consiste à retrouver une phrase dans un très long texte mais rien sur la capacité de raisonnement ou les connaissances générales.
Bref, à part les 100M tokens, on a pas plus d'info sur le modèle LTM-2-mini