Transformer · 一页

一句话

Transformer 是一种完全基于「注意力机制」的序列模型,2017 年随论文 Attention Is All You Need 提出。

关键节点

• 2017:论文发布,抛弃 RNN/CNN 的主干假设
• 2018 起:GPT、BERT 等预训练模型全面转向
• 至今:成为语言、视觉、多模态模型的通用骨架

核心要点

• 自注意力:让序列中任意两个位置直接交互,距离不再是瓶颈。
• 并行训练:不再按时间步递推,训练效率大幅提升。
• 可扩展:参数与数据越大,能力越强,催生 scaling law。

> 想直观理解,推荐 3Blue1Brown 的「But what is a Transformer?」。