AI 发展史（四）：Transformer 与预训练 —— 大模型的前夜
阶段跨度：2017 – 2020 | 关键词：Attention、BERT、GPT-3、Hugging Face、少样本学习
一句话总结：Transformer 架构 + "先读书后上岗"的预训练范式，让 AI 第一次具备了通用语言能力——今天所有大模型的祖先都在这四年里诞生。
1. 发生了什么
2017 年，Google 八人组发表论文《Attention Is All You Need》，提出 Transformer 架构。它的核心创新是自注意力机制（Self-Attention）：处理每个词时，同时"看"到句子里的所有词，自动判断哪些更相关。
对比一下三代技术怎么理解"猫追老鼠，它跑得很快"里的"它"：
- 统计机器学习：看不懂，得人工写指代消解规则
- RNN（深度学习前期）：一个词一个词往后读，读到"它"时前面的信息已经模糊了
- Transformer：一眼看全句，"它"和"老鼠"的注意力权重直接拉满
更重要的是随之而来的新范式：
| 年份 | 模型 | 思路 |
|---|---|---|
| 2017 | Transformer | 只靠注意力，扔掉循环结构，训练快得惊人 |
| 2018 | BERT（Google） | 先"完形填空"式读完全网文本，再微调上岗 |
| 2018 | GPT-1（OpenAI） | 先"接着写"式读完全网文本，再微调上岗 |
| 2019 | GPT-2 | 15 亿参数，写文章已经像模像样 |
| 2020 | GPT-3 | 1750 亿参数，什么任务都不用训练，说人话就行 |
GPT-3 展示了里程碑式的现象——少样本学习（Few-shot Learning）：不需要重新训练，只要在提示词里给两三个例子，它就能照猫画虎完成新任务。"不用改模型、只改提示词" 这个今天习以为常的用法，就是从这里开始的。
2. 这个时代的工具
| 工具 | 年代 | 意义 |
|---|---|---|
| Hugging Face Transformers | 2019 | 一行代码调用几万个预训练模型，NLP 民主化的最大功臣 |
| BERT 系列开源模型 | 2018+ | 中文有 chinese-bert-wwm 等，当年各家 NLP 竞赛的基础 |
| spaCy / Transformers pipeline | — | 生产级文本处理工具链 |
Hugging Face 的地位怎么强调都不过分：它把"用大模型"的门槛降到了 3 行代码，就像当年的 scikit-learn。
3. 怎么用：3 行代码，召唤一个"读过整个互联网"的模型
pip install transformers torch，然后：
from transformers import pipeline
# 情感分析：模型自动下载并运行
clf = pipeline("sentiment-analysis")
print(clf("这家店的服务太好了，下次还来！"))
# [{'label': 'POSITIVE', 'score': 0.9998}]
# 文本摘要
summarizer = pipeline("summarization")
print(summarizer("一段很长的新闻文本……", max_length=50))
注意这里你没有训练任何东西——模型已经预先读完了海量文本，你直接用。这个"预训练 + 直接使用/微调"的模式，就是大模型时代的基础设施。
再感受一下 GPT-3 式的"提示词即编程"（当时叫 prompt，现在你已经天天在用了）：
把下面句子翻译成英文：
猫坐在垫子上。
把下面句子翻译成英文：
今天天气真好。
给一两个例子，模型自动补全第三个——不需要任何训练。
4. 遗产与短板
- ✅ Transformer 成为大模型的唯一底座；预训练范式确立；提示词思想萌芽
- ✅ 开源社区（Hugging Face）成型，技术不再被大厂垄断
- ❌ 但 GPT-3 当年只有 API、没有聊天界面，普通用户根本摸不到——它能干什么，还缺一个"杀手级入口"
下一篇预告：2022 年 11 月 30 日，ChatGPT 上线。两个月一亿用户——AI 从实验室的论文，变成了你手机里的日常。