30 Days · 30 AI Papers

30 Days · 30 AI Papers

从深度学习到现代大模型：一份以研究问题和技术演进为主线的 30 天论文阅读计划

版本：2026-10-21 · 阅读对象：希望构建 AI/LLM 知识体系、具备软件工程基础的学习者

目标与使用方法

这不是“30 天读完 30 篇全文并复现所有实验”的课程。目标是建立四条可以相互连接的技术脉络：模型范式（8）/ Infra 与数据（6）/ 语言模型（9）/ 多模态（7）；读完可以独立回答每篇论文当年解决了什么、为什么有效、影响了后续什么。

每天 45–75 分钟：① 10–15 分钟看 Abstract、Introduction 和 Conclusion；② 20–35 分钟理解关键架构图、1 个关键公式和实验；③ 10–20 分钟记录自己的解释。李沐视频为按需补救材料，不要求视频从头看到尾。高难度论文可先读核心图/实验，公式推导留给二刷。

难度是相对本计划的主观估计：入门 / 进阶 / 挑战。经典指在谢青池分享涉及的研究脉络中；补充指为延伸至现代 LLM 而增加，并不代表质量高低。视频仅在李沐官方已录制清单核对过才附上。GPT-1/2/3 共用一条李沐串讲视频。

配套参考

第一段：基础架构与语言模型起点

从 CNN、Embedding、Seq2Seq、Attention 到 GPT/BERT，建立模型“学什么、如何表示和如何计算”的直觉。

Day 论文 · 原文 方向 难度 当天要回答的问题 李沐视频
01 AlexNet (2012) 模型范式 入门 为什么数据、GPU 与 CNN 的结合成为深度学习突破的转折点？ 精读视频
02 Word2Vec (2013) 语言模型 入门 词语如何变成有语义关系的向量？ —
03 GAN (2014) 多模态 进阶 生成器和判别器的对抗训练如何产生新样本？ 精读视频
04 Neural Machine Translation with Attention (Bahdanau) (2014) 模型范式 进阶 Seq2Seq 的固定长度表示有什么瓶颈，Attention 如何改进？ —
05 ResNet (2015) 模型范式 入门 为什么残差连接能让更深的网络更容易训练？ 精读视频
06 Sparsely-Gated Mixture-of-Experts (2017) 模型范式 挑战 为什么可以增加模型容量，却不等比例增加每个样本的计算？ —
07 Attention Is All You Need (2017) 模型范式 挑战 Self-Attention、多头注意力和位置编码怎样组成 Transformer？ 精读视频
08 GPT-1 — Improving Language Understanding by Generative Pre-Training (2018) 语言模型 进阶 为什么自回归语言模型可以通过预训练迁移到下游任务？ 精读视频
09 BERT (2018) 语言模型 进阶 双向表示学习和 GPT 的自回归训练目标有何不同？ 精读视频
10 GPT-2 — Language Models are Unsupervised Multitask Learners (2019) 语言模型 入门 规模化预训练如何开始表现出无需任务微调的能力？ 精读视频

阶段验收：不看笔记，用一张草图讲清楚：Embedding → Seq2Seq/Attention → Transformer → GPT/BERT。

第二段：规模化与大模型能力

连接内存与并行、Scaling、In-context Learning、生成模型、对比学习和指令对齐。

Day 论文 · 原文 方向 难度 当天要回答的问题 李沐视频
11 ZeRO (2019) Infra 与数据 挑战 优化器状态、梯度和参数怎样分片，才能训练大模型？ 精读视频
12 Scaling Laws for Neural Language Models (2020) Infra 与数据 挑战 模型参数、数据和计算量如何影响预测损失？ —
13 GPT-3 — Language Models are Few-Shot Learners (2020) 语言模型 进阶 为什么可以仅靠 Prompt 中的例子学习新任务？ 精读视频
14 DDPM — Denoising Diffusion Probabilistic Models (2020) 多模态 挑战 为什么逐步加噪和反向去噪能够构成生成过程？ —
15 Vision Transformer (ViT) (2020) 多模态 进阶 如何将图片切成 Patch，并用 Transformer 处理？ 精读视频
16 CLIP — Learning Transferable Visual Models from Natural Language Supervision (2021) 多模态 进阶 图像与文字如何通过对比学习建立共同的表示？ 精读视频
17 LoRA (2021) 模型范式 进阶 为何可以冻结基础模型，仅训练低秩增量完成微调？ —
18 Latent Diffusion Models (Stable Diffusion) (2021) 多模态 挑战 为什么在潜空间扩散可以显著降低图像生成成本？ —
19 Chain-of-Thought Prompting (2022) 模型范式 入门 示范中间推理步骤在什么条件下改善复杂任务表现？ 精读视频
20 InstructGPT — Training Language Models to Follow Instructions with Human Feedback (2022) 语言模型 进阶 SFT、奖励模型、RLHF 怎样使模型更符合人类指令？ 精读视频

阶段验收：解释模型规模、数据、计算预算与 Loss 的关系；区分 Pre-training、In-context Learning、SFT 与 RLHF。

第三段：现代系统、多模态与推理

连接 Chinchilla、训练数据、Agent 方法、开放模型、万卡训练、后训练和推理模型。

Day 论文 · 原文 方向 难度 当天要回答的问题 李沐视频
21 Chinchilla — Training Compute-Optimal Large Language Models (2022) Infra 与数据 进阶 固定计算预算下，应怎样平衡模型大小与训练数据量？ —
22 LAION-5B (2022) Infra 与数据 入门 大规模图文对如何获得、过滤，并支撑开放多模态训练？ —
23 ReAct (2022) 模型范式 入门 模型怎样交替生成推理、行动与观察，调用外部环境？ —
24 DiT — Scalable Diffusion Models with Transformers (2022) 多模态 进阶 为什么可以用 Transformer 替换扩散模型的 U-Net 骨干？ —
25 LLaMA — Open and Efficient Foundation Language Models (2023) 语言模型 进阶 为什么充分训练的中等规模模型也可能非常有竞争力？ —
26 LLaVA — Visual Instruction Tuning (2023) 多模态 进阶 如何连接视觉编码器与语言模型，并进行视觉指令微调？ —
27 The RefinedWeb Dataset (2023) Infra 与数据 进阶 网络数据经过过滤、去重后，为何能成为高质量预训练语料？ —
28 MegaScale (2024) Infra 与数据 挑战 万卡训练中的计算、通信、存储与故障怎样协调？ —
29 Tülu 3 (2024) 语言模型 挑战 完整的开放后训练如何衔接 SFT、DPO 与可验证奖励 RL？ —
30 DeepSeek-R1 (2025) 语言模型 挑战 R1-Zero、R1 与蒸馏分别怎样形成和传播推理能力？ —

阶段验收：面对一份新 LLM Technical Report，定位架构、数据、训练、后训练、评测、Infra 的内容并提出有根据的问题。

每日阅读卡片（复制 30 份）

Day XX · Paper · 日期：
一句话：这篇论文试图解决 ______。
旧方法的瓶颈：
核心思路（附自己画的简图）：
关键证据：最能支持结论的图、表或实验：
局限 / 不确定之处：
它继承了什么、影响了什么：
今天我能脱稿解释的一件事：

完成标准和复盘

每日完成标准：能用三分钟、自己的话讲明白动机、方法、证据和影响；不把“读懂所有公式”当成每日强制任务。每 10 天画一次四条主线的关系图。

注意：30 篇按学习路径而非完全按论文发表先后编排；部分文章是技术报告或预印本，年份按原始公开时间标注。四条主线是为了方便理解，不是彼此独立的研究分类。

30 天之外的下一轮候选：Sequence to Sequence Learning with Neural Networks、Knowledge Distillation、AlphaGo Zero、FlashAttention、DPO、HELM、AlphaFold 2、DeepSeek-V3。它们都值得单独深入，但不要求加入本轮每日任务。

Puran Zhang @puran