Weekly Shaarli

All links of one week in a single page.

Week 31 (2024年7月29日)

Aider is SOTA for both SWE Bench and SWE Bench Lite
thumbnail

Aider est un assistant pour développement dans le terminal.

L'outil est vraiment bien foutu, je suis impressionné par sa capacité à réaliser des tâches en autonomie. Je l'utilise beaucoup pour du refacto par exemple.

C'est actuellement le meilleur assistant, ils obtiennent 18.9% sur le SWE Bench qui évalue les assistants à leur capacité à réaliser des tâches de programmation.

Le dernier SOTA était Devin.

Bref, c'est un super projet et en plus tout est open source! A utiliser d'urgence

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

OpenAI travaille sur de meilleures techniques pour éviter les instructions malicieuses (prompt injection, prompt extraction, etc).

Ils ont créé une hiérarchie dans les instructions entre les instructions système, celles des utilisateurs et celles des outils.

Notamment, ils décrivent un concept d'instruction "alignées" ou "non-alignées" par rapport au message système que le LLM doit être capable de détecter afin de refuser de répondre à des instructions potentiellement malicieuses.

Comme toujours c'est un travail assez difficile car d'un côté il faut être capable de bloquer les instructions malicieuses et de l'autre ne pas dégrader les capacités du modèle à répondre à des questions ouvertes ou complexes.

En tout cas, leur technique est efficace car elle bloque 80% des prompt injection vs 60 auparavant et sur d'autre types d'instruction malicieuses comme l'extraction de prompt on parle de 95% vs 32%.

Pour l'instant ces techniques ne sont pas encore disponibles dans les modèles de OpenAI mais les prochains seront très certainement entrainés pour mieux résister aux instructions malicieuses.