群像突破
主线史诗记的是有头有脸的召集人与决定性瞬间:达特茅斯、ImageNet、卧室里的两张卡、首尔五番棋、八个作者的 Attention、实验室的门、诺贝尔。
技术章节里用到的名词——Word2Vec、BERT、LoRA、DPO、FlashAttention、RAG……——多半不是那几个明星单独推上台的。它们是大背景下相对有名的科研群像做出的关键突破:论文被引用、方法进了框架默认、开会时大家会点头的名字。
这一页按你笔记的章节,把「技术 ↔ 人」补上。不是把主线明星再抄一遍;是把撑起该章内容、却容易只留下方法名的人写回来。
群星闪耀时刻 / 人物图谱 ← 主线名人与房间
↓
群像突破(本页) ← 章节里的关键技术突破
↓
第 1–6 章 · 自我研究草稿 ← 式子、代码、实操
写于 2026 年 9 月。一人或一小团队对应一项被广泛采用的方法。合作者众多时写「第一作者 / 通讯习惯上被点到的名字 + 等」。漏网的人名丢进文末「还想补」。
怎么用
第 1 章 · 概述与历史:表示、结构、能力
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| Word2Vec | Tomas Mikolov 等(Google) | 2013 | Word2Vec |
| FastText | Mikolov、Armand Joulin、Edouard Grave、Piotr Bojanowski 等 | 2016–2017 | FastText |
| Seq2Seq | Ilya Sutskever、Oriol Vinyals、Quoc Le | 2014 | 编码器-解码器 |
| 加性注意力(NLP) | Dzmitry Bahdanau、Kyunghyun Cho、Yoshua Bengio | 2014–2015 | 注意力史 |
| Transformer | Ashish Vaswani 等八人(主线时刻五) | 2017 | Transformer |
| BERT | Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova | 2018 | BERT |
| GPT / GPT-2 | Alec Radford 等(OpenAI) | 2018–2019 | GPT |
| GPT-3 | Tom Brown 等;Few-shot / in-context 写进标题 | 2020 | GPT-3 |
| Scaling Laws | Jared Kaplan 等(OpenAI) | 2020 | Scaling |
| Chinchilla | Jordan Hoffmann 等(DeepMind) | 2022 | Scaling |
| Chain-of-Thought | Jason Wei 等 | 2022 | CoT |
| 涌现能力论述 | Wei 等;另有质疑与复现讨论(后补对立观点) | 2022– | 涌现 |
主线对照:李飞飞 / 辛顿 / 八作者 / 门打开 —— 时刻三·五·六。
第 2 章 · 预训练:数据、结构零件、训得起来
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| BPE / 子词 | Rico Sennrich 等;GPT-2 用 BPE 传统 | 2016 | Tokenization |
| SentencePiece | Taku Kudo、John Richardson | 2018 | 同上 |
| 位置编码 → RoPE | 苏剑林 Jianlin Su 等(RoFormer) | 2021 | 位置编码 |
| ALiBi | Ofir Press、Noah Smith、Mike Lewis | 2021–2022 | 同上附近 |
| SwiGLU 等激活选择 | Noam Shazeer 等 | 2020 | Activation |
| Pre-LN / 稳定训练实践 | 多篇工程论文;Toan Nguyen 等讨论常见 | 2019– | Add & Norm |
| MoE(稀疏) | Shazeer《Outrageously Large》;William Fedus 等 Switch Transformer | 2017 / 2021 | MoE |
| GQA | Joshua Ainslie 等 | 2023 | MHA 改进 |
| FlashAttention | Tri Dao、Dan Fu、Stefano Ermon、Atri Rudra、Christopher Ré | 2022 | 注意力改进 · 优化 |
| 混合精度 | Paulius Micikevicius 等(NVIDIA) | 2017– | 混合精度 |
| ZeRO | Samyam Rajbhandari、Jeff Rasley、Olatunji Ruwase、Yuxiong He(DeepSpeed) | 2019– | 并行 |
| Megatron-LM | Mohammad Shoeybi 等(NVIDIA) | 2019– | 同上 |
| Adam | Diederik Kingma、Jimmy Ba | 2014 | 训练方法语境 |
| Dropout | Nitish Srivastava、Hinton 等 | 2014 | 正则语境 |
主线对照:黄仁勋 / CUDA / Tensor Core —— 硬件。
第 3 章 · 后训练:微调、RL、偏好、测试时计算
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| Adapter | Neil Houlsby 等 | 2019 | PEFT |
| LoRA | Edward J. Hu、Yelong Shen、Weizhu Chen 等 | 2021–2022 | PEFT |
| QLoRA | Tim Dettmers 等 | 2023 | 同上 |
| InstructGPT / RLHF 管线 | Long Ouyang 等;奖励与 PPO 接上对话 | 2022 | 后训练 · PPO |
| 偏好学习思想 | Paul Christiano 等 | 2017– | 奖励模型 |
| PPO | John Schulman 等 | 2017 | PPO |
| TRPO | Schulman 等 | 2015 | TRPO |
| DPO | Rafael Rafailov、Archit Sharma、Eric Mitchell、Stefano Ermon、Christopher Manning、Chelsea Finn | 2023 | DPO |
| GRPO | DeepSeek 团队论文作者群(随版本记) | 2024– | GRPO |
| RL 教科书传统 | Richard Sutton、Andrew Barto | 长期 | RL 定义 |
| AlphaGo / AlphaZero 算法 | David Silver 等(主线时刻四) | 2016–2018 | DeepMind |
| 树搜索 / ToT 等 | Shunyu Yao 等(Tree of Thoughts) | 2023 | 树形推理 |
| Process / Outcome 奖励等 | OpenAI、DeepMind 等多队并行 | 2023– | Test-time |
主线对照:哈萨比斯、西尔弗、李世石 —— 时刻四。
第 4 章 · 应用开发:提示、检索、Agent 工作流
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| RAG | Patrick Lewis 等(Facebook AI) | 2020 | RAG |
| Dense passage retrieval 传统 | Vladimir Karpukhin 等(DPR) | 2020 | 同上语境 |
| ReAct | Shunyu Yao 等 | 2022–2023 | Agent |
| Toolformer | Timo Schick 等 | 2023 | 同上 |
| Self-Instruct / 合成指令 | Yizhong Wang 等 | 2022– | Prompt / SFT 语境 |
| LangChain 等工程编排 | Harrison Chase 等(产品层,非论文突破) | 2022– | 框架选择 |
主线对照:实验室的门打开 —— 时刻六。Agent 实战细目在侧栏 4.7。
第 3.5 / 工具链 · 微调实战
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| Hugging Face Transformers | Thomas Wolf 等 | 2019– | 微调实战 3.5 |
| PEFT 库与 LoRA 生态 | Hu 等 + HF 工程团队 | 2022– | 同上 |
第 6 章 · 算力集群与推理部署
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| vLLM / PagedAttention | Woosuk Kwon、Zhuohan Li、Ion Stoica 等 | 2023 | 算力集群与推理部署 · 优化 |
| Continuous batching | Orca 等系统论文作者群 | 2022– | 同上 |
| Speculative decoding | Yaniv Leviathan 等;多后续变体 | 2023 | 优化 |
| TensorRT-LLM / FasterTransformer | NVIDIA 工程团队 | 持续 | 推理框架 |
| GGML / llama.cpp | Georgi Gerganov 等 | 2023– | 端侧推理语境 |
| FlashAttention | Tri Dao 等 | 2022 | 亦见第 2 章结构 |
主线对照:黄仁勋与机柜 —— 硬件 · 第 6 章「先讲故事」。
第 5 章 · 延展:多模态、生成、世界模型、具身
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| GAN | Ian Goodfellow 等 | 2014 | 生成 |
| DDPM | Jonathan Ho、Ajay Jain、Pieter Abbeel | 2020 | 同上 |
| 潜扩散 / SD | Robin Rombach、Andreas Blattmann、Björn Ommer 等 | 2022 | 同上 |
| DiT | William Peebles、Saining Xie | 2023 | 同上 |
| CLIP | Alec Radford 等 | 2021 | 多模态 |
| Flamingo | Jean-Baptiste Alayrac 等(DeepMind) | 2022 | 同上 |
| BLIP-2 | Junnan Li 等 | 2023 | 同上 |
| LLaVA | Haotian Liu、Chunyuan Li、Qingyang Wu、Yong Jae Lee | 2023 | 同上 |
| NeRF | Ben Mildenhall 等 | 2020 | 生成 · 3D |
| 3DGS | Bernhard Kerbl 等 | 2023 | 同上 |
| World Models(2018) | David Ha、Jürgen Schmidhuber | 2018 | 世界模型 |
| Dreamer | Danijar Hafner 等 | 2019– | 同上 |
| JEPA 路线 | Yann LeCun(纲领);I-JEPA / V-JEPA 作者群 | 2022– | 同上 |
| RT-2 / VLA | Brohan 等;Google DeepMind 机器人团队 | 2023 | 具身 |
| π0 | Physical Intelligence 团队 | 2024 | 同上 |
| OpenVLA | Kim 等开源团队 | 2024 | 同上 |
主线对照:李飞飞 / World Labs、杨立昆、哈萨比斯 —— 图谱 · 时刻七之后的缝。
自我研究草稿 · 车损三维重构(示例)
| 技术 / 概念 | 群像里该被点名的人 | 大约年份 | 技术入口 |
|---|---|---|---|
| CarDD 数据集 | 王新旷 等(中科大等) | 2022–2023 | 车损三维重构 |
| CrashSplat | Dragos Chileban 等 | 2025 | 同上 |
| 定损宝产业线 | 蚂蚁金服视觉团队(公开报道中的产品负责人随版本变) | 2017– | 同上 |
| Dynamic BEV 事故重建 | Magistri / Sambo 等车队感知作者群 | 2024 | 同上 |
和主线的分工(读的时候记住)
| 主线名人 | 群像突破(本页) | |
|---|---|---|
| 出现方式 | 时刻、传记、工作室名字 | 方法名背后的论文作者 |
| 读者印象 | 「这件事是谁的时代」 | 「这个模块是谁做硬的」 |
| 例子 | 黄仁勋、李飞飞、哈萨比斯、辛顿 | Tri Dao、Edward Hu、Rafailov、Mikolov、Devlin、Kwon |
两边都要。只有主线,技术章会变成没有作者的名词堆;只有群像,又容易看不见历史转折。
还想补
- 每一篇技术子页文首加一行「群像:…」,链回本表对应行。
- 中文开源权重:通义、GLM、百川、DeepSeek 等论文第一作者表,按你实际用过的模型补。
- 对立与修正:涌现是否真实、RLHF 是否可复现——把提出质疑的人也列入,避免只记成功叙事。
- 每季对照 arXiv / 教材目录,把已进「默认课表」的新名字加进来。