Puran

30 Days · 30 AI Papers

从深度学习到现代大模型：一份以研究问题和技术演进为主线的 30 天论文阅读计划

版本：2026-10-21 · 阅读对象：希望构建 AI/LLM 知识体系、具备软件工程基础的学习者

目标与使用方法

这不是“30 天读完 30 篇全文并复现所有实验”的课程。目标是建立四条可以相互连接的技术脉络：模型范式（8）/ Infra 与数据（6）/ 语言模型（9）/ 多模态（7）；读完可以独立回答每篇论文当年解决了什么、为什么有效、影响了后续什么。

每天 45–75 分钟：① 10–15 分钟看 Abstract、Introduction 和 Conclusion；② 20–35 分钟理解关键架构图、1 个关键公式和实验；③ 10–20 分钟记录自己的解释。李沐视频为按需补救材料，不要求视频从头看到尾。高难度论文可先读核心图/实验，公式推导留给二刷。

难度是相对本计划的主观估计：入门 / 进阶 / 挑战。经典指在谢青池分享涉及的研究脉络中；补充指为延伸至现代 LLM 而增加，并不代表质量高低。视频仅在李沐官方已录制清单核对过才附上。GPT-1/2/3 共用一条李沐串讲视频。

配套参考

第一段：基础架构与语言模型起点

从 CNN、Embedding、Seq2Seq、Attention 到 GPT/BERT，建立模型“学什么、如何表示和如何计算”的直觉。

Day	论文 · 原文	方向	难度	当天要回答的问题	李沐视频
01	AlexNet (2012)	模型范式	入门	为什么数据、GPU 与 CNN 的结合成为深度学习突破的转折点？	精读视频
02	Word2Vec (2013)	语言模型	入门	词语如何变成有语义关系的向量？	—
03	GAN (2014)	多模态	进阶	生成器和判别器的对抗训练如何产生新样本？	精读视频
04	Neural Machine Translation with Attention (Bahdanau) (2014)	模型范式	进阶	Seq2Seq 的固定长度表示有什么瓶颈，Attention 如何改进？	—
05	ResNet (2015)	模型范式	入门	为什么残差连接能让更深的网络更容易训练？	精读视频
06	Sparsely-Gated Mixture-of-Experts (2017)	模型范式	挑战	为什么可以增加模型容量，却不等比例增加每个样本的计算？	—
07	Attention Is All You Need (2017)	模型范式	挑战	Self-Attention、多头注意力和位置编码怎样组成 Transformer？	精读视频
08	GPT-1 — Improving Language Understanding by Generative Pre-Training (2018)	语言模型	进阶	为什么自回归语言模型可以通过预训练迁移到下游任务？	精读视频
09	BERT (2018)	语言模型	进阶	双向表示学习和 GPT 的自回归训练目标有何不同？	精读视频
10	GPT-2 — Language Models are Unsupervised Multitask Learners (2019)	语言模型	入门	规模化预训练如何开始表现出无需任务微调的能力？	精读视频

阶段验收：不看笔记，用一张草图讲清楚：Embedding → Seq2Seq/Attention → Transformer → GPT/BERT。

第二段：规模化与大模型能力

连接内存与并行、Scaling、In-context Learning、生成模型、对比学习和指令对齐。

Day	论文 · 原文	方向	难度	当天要回答的问题	李沐视频
11	ZeRO (2019)	Infra 与数据	挑战	优化器状态、梯度和参数怎样分片，才能训练大模型？	精读视频
12	Scaling Laws for Neural Language Models (2020)	Infra 与数据	挑战	模型参数、数据和计算量如何影响预测损失？	—
13	GPT-3 — Language Models are Few-Shot Learners (2020)	语言模型	进阶	为什么可以仅靠 Prompt 中的例子学习新任务？	精读视频
14	DDPM — Denoising Diffusion Probabilistic Models (2020)	多模态	挑战	为什么逐步加噪和反向去噪能够构成生成过程？	—
15	Vision Transformer (ViT) (2020)	多模态	进阶	如何将图片切成 Patch，并用 Transformer 处理？	精读视频
16	CLIP — Learning Transferable Visual Models from Natural Language Supervision (2021)	多模态	进阶	图像与文字如何通过对比学习建立共同的表示？	精读视频
17	LoRA (2021)	模型范式	进阶	为何可以冻结基础模型，仅训练低秩增量完成微调？	—
18	Latent Diffusion Models (Stable Diffusion) (2021)	多模态	挑战	为什么在潜空间扩散可以显著降低图像生成成本？	—
19	Chain-of-Thought Prompting (2022)	模型范式	入门	示范中间推理步骤在什么条件下改善复杂任务表现？	精读视频
20	InstructGPT — Training Language Models to Follow Instructions with Human Feedback (2022)	语言模型	进阶	SFT、奖励模型、RLHF 怎样使模型更符合人类指令？	精读视频

阶段验收：解释模型规模、数据、计算预算与 Loss 的关系；区分 Pre-training、In-context Learning、SFT 与 RLHF。

第三段：现代系统、多模态与推理

连接 Chinchilla、训练数据、Agent 方法、开放模型、万卡训练、后训练和推理模型。

Day	论文 · 原文	方向	难度	当天要回答的问题	李沐视频
21	Chinchilla — Training Compute-Optimal Large Language Models (2022)	Infra 与数据	进阶	固定计算预算下，应怎样平衡模型大小与训练数据量？	—
22	LAION-5B (2022)	Infra 与数据	入门	大规模图文对如何获得、过滤，并支撑开放多模态训练？	—
23	ReAct (2022)	模型范式	入门	模型怎样交替生成推理、行动与观察，调用外部环境？	—
24	DiT — Scalable Diffusion Models with Transformers (2022)	多模态	进阶	为什么可以用 Transformer 替换扩散模型的 U-Net 骨干？	—
25	LLaMA — Open and Efficient Foundation Language Models (2023)	语言模型	进阶	为什么充分训练的中等规模模型也可能非常有竞争力？	—
26	LLaVA — Visual Instruction Tuning (2023)	多模态	进阶	如何连接视觉编码器与语言模型，并进行视觉指令微调？	—
27	The RefinedWeb Dataset (2023)	Infra 与数据	进阶	网络数据经过过滤、去重后，为何能成为高质量预训练语料？	—
28	MegaScale (2024)	Infra 与数据	挑战	万卡训练中的计算、通信、存储与故障怎样协调？	—
29	Tülu 3 (2024)	语言模型	挑战	完整的开放后训练如何衔接 SFT、DPO 与可验证奖励 RL？	—
30	DeepSeek-R1 (2025)	语言模型	挑战	R1-Zero、R1 与蒸馏分别怎样形成和传播推理能力？	—

阶段验收：面对一份新 LLM Technical Report，定位架构、数据、训练、后训练、评测、Infra 的内容并提出有根据的问题。

每日阅读卡片（复制 30 份）

Day XX · Paper · 日期：
一句话：这篇论文试图解决 ______。
旧方法的瓶颈：
核心思路（附自己画的简图）：
关键证据：最能支持结论的图、表或实验：
局限 / 不确定之处：
它继承了什么、影响了什么：
今天我能脱稿解释的一件事：

完成标准和复盘

每日完成标准：能用三分钟、自己的话讲明白动机、方法、证据和影响；不把“读懂所有公式”当成每日强制任务。每 10 天画一次四条主线的关系图。

注意：30 篇按学习路径而非完全按论文发表先后编排；部分文章是技术报告或预印本，年份按原始公开时间标注。四条主线是为了方便理解，不是彼此独立的研究分类。

30 天之外的下一轮候选：Sequence to Sequence Learning with Neural Networks、Knowledge Distillation、AlphaGo Zero、FlashAttention、DPO、HELM、AlphaFold 2、DeepSeek-V3。它们都值得单独深入，但不要求加入本轮每日任务。