AI时间线Transformer的历史时间线
(AI时间线生成)
Transformer是一种基于自注意力机制的深度学习模型架构，最初由Google团队在2017年提出，用于自然语言处理任务。其核心创新是摒弃了传统的循环或卷积结构，完全依靠注意力机制来捕捉序列中的依赖关系，成为后续BERT、GPT等大模型的基础。
2017年6月
Google研究团队在论文《Attention Is All You Need》中正式提出Transformer模型。该论文由Vaswani等人撰写，首次提出了完全基于自注意力机制的编码器-解码器架构，在机器翻译任务上取得了显著优于循环神经网络和卷积神经网络的效果，并实现了更好的并行计算能力。
2018年6月
OpenAI发布了基于Transformer解码器结构的GPT（Generative Pre-trained Transformer）模型，首次展示了大规模预训练语言模型在多种自然语言任务上的强大泛化能力。GPT采用单向自注意力机制，通过无监督预训练加有监督微调的方式刷新了多项NLP基准。
2018年10月
Google AI发布BERT（Bidirectional Encoder Representations from Transformers），采用双向编码器结构和掩码语言模型预训练任务，在11项自然语言理解任务上取得最优结果。BERT的提出标志着Transformer在语言理解领域的统治地位确立，推动后续预训练模型研究爆发。
2019年
Transformer架构开始向计算机视觉领域拓展。Vision Transformer（ViT）等模型将图像分割为固定大小的patch，并将其作为序列输入Transformer编码器，在图像分类任务上达到了与卷积神经网络相当甚至更优的性能。同年，XLNet、RoBERTa等改进型Transformer模型也相继提出。
2020年
OpenAI发布GPT-3，参数规模达1750亿，展示了惊人的少样本学习能力。同年，Google推出T5模型，将NLP任务统一为文本到文本格式。Transformer在语音识别、推荐系统等领域也开始广泛应用。
2021年
Swin Transformer等层级式Transformer被提出，有效解决了ViT缺乏空间局部性的问题。同时，Transformer被用于图像生成、强化学习等领域。Hugging Face的Transformers库成为事实标准，推动了模型开源和易用性。
2022年
ChatGPT发布，基于GPT-3.5系列模型，通过指令微调和强化学习微调（RLHF）实现了与人类自然对话的能力。同年，Stable Diffusion等文生图模型也采用了Transformer架构的变体。
2023年
GPT-4等更大规模的多模态Transformer模型发布，能够处理图像和文本输入。开源社区涌现出LLaMA、Mistral等高性能Transformer模型，推动了本地化部署和定制化应用。
2024年至今
Transformer架构持续演进，混合专家模型（MoE）、长上下文模型（如Gemini 1.5 Pro支持百万token）等技术不断突破。同时，高效Transformer（如FlashAttention、线性注意力）被广泛采用，降低了大模型的推理成本。
更多历史时间线