群像突破

主线史诗记的是有头有脸的召集人与决定性瞬间:达特茅斯、ImageNet、卧室里的两张卡、首尔五番棋、八个作者的 Attention、实验室的门、诺贝尔。

技术章节里用到的名词——Word2Vec、BERT、LoRA、DPO、FlashAttention、RAG……——多半不是那几个明星单独推上台的。它们是大背景下相对有名的科研群像做出的关键突破:论文被引用、方法进了框架默认、开会时大家会点头的名字。

这一页按你笔记的章节,把「技术 ↔ 人」补上。不是把主线明星再抄一遍;是把撑起该章内容、却容易只留下方法名的人写回来。

群星闪耀时刻 / 人物图谱  ← 主线名人与房间
        ↓
   群像突破(本页)      ← 章节里的关键技术突破
        ↓
   第 1–6 章 · 自我研究草稿  ← 式子、代码、实操

写于 2026 年 9 月。一人或一小团队对应一项被广泛采用的方法。合作者众多时写「第一作者 / 通讯习惯上被点到的名字 + 等」。漏网的人名丢进文末「还想补」。

怎么用

  1. 读某一技术章前,先扫本页对应小节。
  2. 看见方法名却想不起人,回本页。
  3. 主线故事仍读群星闪耀时刻;查大房间读人物图谱。

第 1 章 · 概述与历史:表示、结构、能力

技术 / 概念群像里该被点名的人大约年份技术入口
Word2VecTomas Mikolov 等(Google)2013Word2Vec
FastTextMikolov、Armand Joulin、Edouard Grave、Piotr Bojanowski 等2016–2017FastText
Seq2SeqIlya Sutskever、Oriol Vinyals、Quoc Le2014编码器-解码器
加性注意力(NLP)Dzmitry Bahdanau、Kyunghyun Cho、Yoshua Bengio2014–2015注意力史
TransformerAshish Vaswani 等八人(主线时刻五)2017Transformer
BERTJacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova2018BERT
GPT / GPT-2Alec Radford 等(OpenAI)2018–2019GPT
GPT-3Tom Brown 等;Few-shot / in-context 写进标题2020GPT-3
Scaling LawsJared Kaplan 等(OpenAI)2020Scaling
ChinchillaJordan Hoffmann 等(DeepMind)2022Scaling
Chain-of-ThoughtJason Wei 等2022CoT
涌现能力论述Wei 等;另有质疑与复现讨论(后补对立观点)2022–涌现

主线对照:李飞飞 / 辛顿 / 八作者 / 门打开 —— 时刻三·五·六。


第 2 章 · 预训练:数据、结构零件、训得起来

技术 / 概念群像里该被点名的人大约年份技术入口
BPE / 子词Rico Sennrich 等;GPT-2 用 BPE 传统2016Tokenization
SentencePieceTaku Kudo、John Richardson2018同上
位置编码 → RoPE苏剑林 Jianlin Su 等(RoFormer)2021位置编码
ALiBiOfir Press、Noah Smith、Mike Lewis2021–2022同上附近
SwiGLU 等激活选择Noam Shazeer 等2020Activation
Pre-LN / 稳定训练实践多篇工程论文;Toan Nguyen 等讨论常见2019–Add & Norm
MoE(稀疏)Shazeer《Outrageously Large》;William Fedus 等 Switch Transformer2017 / 2021MoE
GQAJoshua Ainslie 等2023MHA 改进
FlashAttentionTri Dao、Dan Fu、Stefano Ermon、Atri Rudra、Christopher Ré2022注意力改进 · 优化
混合精度Paulius Micikevicius 等(NVIDIA)2017–混合精度
ZeROSamyam Rajbhandari、Jeff Rasley、Olatunji Ruwase、Yuxiong He(DeepSpeed)2019–并行
Megatron-LMMohammad Shoeybi 等(NVIDIA)2019–同上
AdamDiederik Kingma、Jimmy Ba2014训练方法语境
DropoutNitish Srivastava、Hinton 等2014正则语境

主线对照:黄仁勋 / CUDA / Tensor Core —— 硬件。


第 3 章 · 后训练:微调、RL、偏好、测试时计算

技术 / 概念群像里该被点名的人大约年份技术入口
AdapterNeil Houlsby 等2019PEFT
LoRAEdward J. Hu、Yelong Shen、Weizhu Chen 等2021–2022PEFT
QLoRATim Dettmers 等2023同上
InstructGPT / RLHF 管线Long Ouyang 等;奖励与 PPO 接上对话2022后训练 · PPO
偏好学习思想Paul Christiano 等2017–奖励模型
PPOJohn Schulman 等2017PPO
TRPOSchulman 等2015TRPO
DPORafael Rafailov、Archit Sharma、Eric Mitchell、Stefano Ermon、Christopher Manning、Chelsea Finn2023DPO
GRPODeepSeek 团队论文作者群(随版本记)2024–GRPO
RL 教科书传统Richard Sutton、Andrew Barto长期RL 定义
AlphaGo / AlphaZero 算法David Silver 等(主线时刻四)2016–2018DeepMind
树搜索 / ToT 等Shunyu Yao 等(Tree of Thoughts)2023树形推理
Process / Outcome 奖励等OpenAI、DeepMind 等多队并行2023–Test-time

主线对照:哈萨比斯、西尔弗、李世石 —— 时刻四。


第 4 章 · 应用开发:提示、检索、Agent 工作流

技术 / 概念群像里该被点名的人大约年份技术入口
RAGPatrick Lewis 等(Facebook AI)2020RAG
Dense passage retrieval 传统Vladimir Karpukhin 等(DPR)2020同上语境
ReActShunyu Yao 等2022–2023Agent
ToolformerTimo Schick 等2023同上
Self-Instruct / 合成指令Yizhong Wang 等2022–Prompt / SFT 语境
LangChain 等工程编排Harrison Chase 等(产品层,非论文突破)2022–框架选择

主线对照:实验室的门打开 —— 时刻六。Agent 实战细目在侧栏 4.7。


第 3.5 / 工具链 · 微调实战

技术 / 概念群像里该被点名的人大约年份技术入口
Hugging Face TransformersThomas Wolf 等2019–微调实战 3.5
PEFT 库与 LoRA 生态Hu 等 + HF 工程团队2022–同上

第 6 章 · 算力集群与推理部署

技术 / 概念群像里该被点名的人大约年份技术入口
vLLM / PagedAttentionWoosuk Kwon、Zhuohan Li、Ion Stoica 等2023算力集群与推理部署 · 优化
Continuous batchingOrca 等系统论文作者群2022–同上
Speculative decodingYaniv Leviathan 等;多后续变体2023优化
TensorRT-LLM / FasterTransformerNVIDIA 工程团队持续推理框架
GGML / llama.cppGeorgi Gerganov 等2023–端侧推理语境
FlashAttentionTri Dao 等2022亦见第 2 章结构

主线对照:黄仁勋与机柜 —— 硬件 · 第 6 章「先讲故事」。


第 5 章 · 延展:多模态、生成、世界模型、具身

技术 / 概念群像里该被点名的人大约年份技术入口
GANIan Goodfellow 等2014生成
DDPMJonathan Ho、Ajay Jain、Pieter Abbeel2020同上
潜扩散 / SDRobin Rombach、Andreas Blattmann、Björn Ommer 等2022同上
DiTWilliam Peebles、Saining Xie2023同上
CLIPAlec Radford 等2021多模态
FlamingoJean-Baptiste Alayrac 等(DeepMind)2022同上
BLIP-2Junnan Li 等2023同上
LLaVAHaotian Liu、Chunyuan Li、Qingyang Wu、Yong Jae Lee2023同上
NeRFBen Mildenhall 等2020生成 · 3D
3DGSBernhard Kerbl 等2023同上
World Models(2018)David Ha、Jürgen Schmidhuber2018世界模型
DreamerDanijar Hafner 等2019–同上
JEPA 路线Yann LeCun(纲领);I-JEPA / V-JEPA 作者群2022–同上
RT-2 / VLABrohan 等;Google DeepMind 机器人团队2023具身
π0Physical Intelligence 团队2024同上
OpenVLAKim 等开源团队2024同上

主线对照:李飞飞 / World Labs、杨立昆、哈萨比斯 —— 图谱 · 时刻七之后的缝。


自我研究草稿 · 车损三维重构(示例)

技术 / 概念群像里该被点名的人大约年份技术入口
CarDD 数据集王新旷 等(中科大等)2022–2023车损三维重构
CrashSplatDragos Chileban 等2025同上
定损宝产业线蚂蚁金服视觉团队(公开报道中的产品负责人随版本变)2017–同上
Dynamic BEV 事故重建Magistri / Sambo 等车队感知作者群2024同上

和主线的分工(读的时候记住)

主线名人群像突破(本页)
出现方式时刻、传记、工作室名字方法名背后的论文作者
读者印象「这件事是谁的时代」「这个模块是谁做硬的」
例子黄仁勋、李飞飞、哈萨比斯、辛顿Tri Dao、Edward Hu、Rafailov、Mikolov、Devlin、Kwon

两边都要。只有主线,技术章会变成没有作者的名词堆;只有群像,又容易看不见历史转折。

还想补

  • 每一篇技术子页文首加一行「群像:…」,链回本表对应行。
  • 中文开源权重:通义、GLM、百川、DeepSeek 等论文第一作者表,按你实际用过的模型补。
  • 对立与修正:涌现是否真实、RLHF 是否可复现——把提出质疑的人也列入,避免只记成功叙事。
  • 每季对照 arXiv / 教材目录,把已进「默认课表」的新名字加进来。