Une vidéo explicative sur la méthode utilisée par les réseaux de neurones pour comprendre le langage.

Chaque mot est représenté par un vecteur à N dimensions (plusieurs centaines) et cela permet notamment d'intégrer la notion de mots similaires en terme de sens.

On utilise ensuite des réseaux récurrents pour comprendre le sens d'une phrase dans les tâches de classifications ou de traduction.

Pour les tâches de génération, la notion de mémoire est importante et d'autres types de réseaux peuvent être utilisés (LSTM ou GRU).

Mais c'est une nouvelle architecture appellée Transformer qui est utilisé par les modèles récents comme GPT.