Transformer
T
Transformer
Définition
Une architecture de deep learning introduite dans l'article de 2017 « Attention Is All You Need » qui s'appuie sur des mécanismes d'auto-attention au lieu de la récurrence. Les Transformers sont la base des LLM modernes comme GPT, BERT et T5, excellant dans les tâches séquence-à-séquence.