appendix A / sources · 持续更新

值得追踪的信息源

这个领域每周都在变，但「值得长期追踪的源头」其实很稳定。下面是经过筛选的清单——每一项都写了为什么值得追踪、适合什么阶段，而不是一锅烩的链接堆。标 ★ 的是「如果只追三五个就追这几个」。

个人博客：高信噪比的深度内容

• ★ Andrej Karpathy + 旧博客 —— 前 OpenAI/特斯拉。「从零实现」教学法的代表人物，文章和视频都极重视第一性原理。他的 nanoGPT、llm.c 仓库本身就是教材（第 6 章会用到）。
• ★ Lil'Log（Lilian Weng） —— OpenAI 前安全研究 VP。每篇都是某个方向（Agent、扩散模型、RLHF、对抗攻击）的体系化综述，引用严谨，是「想系统搞懂某个子领域」时的最佳起点。本课程第 11 章大量参考她的 Agent 综述。
• ★ 科学空间（苏剑林） —— 中文世界最硬核的 ML 博客，没有之一。RoPE 位置编码的提出者。推导极其细致，第 6、7 章的数学细节可与他的系列文章互相印证。
• Chris Olah —— Anthropic 联创、可解释性研究开创者。《Understanding LSTM Networks》是史上被引最多的博客文章之一；他参与的 Distill.pub（已停更但存档极有价值）定义了「交互式论文」的标杆——本课程的交互理念部分来自这里。
• Sebastian Ruder —— NLP 研究脉络梳理，优化器综述是经典。
• Sebastian Raschka —— 《Build a Large Language Model (From Scratch)》作者，Newsletter 每期把最新论文讲得清楚透彻，跟进 LLM 研究进展的首选之一。
• Eugene Yan —— Amazon 应用科学家，「LLM 落地到产品」的工程经验（评估、RAG、模式总结），偏实战。
• Simon Willison —— Django 联合创作者，几乎每天更新的 LLM 应用实验笔记。跟进「工具层发生了什么」最快的个人源。
• Chip Huyen —— 《Designing Machine Learning Systems》《AI Engineering》作者，ML 系统设计与 AI 工程化视角。

课程与书：系统学习的主干

• ★ 《动手学深度学习》d2l.ai（李沐等） —— 免费、中英双语、代码与数学并重、可直接跑 notebook。中文学习者的第一主干教材。配套 B 站视频「跟李沐学AI」，包括逐段精读经典论文的「论文精读」系列。
• ★ Stanford CS231n（视觉/CNN）与 CS224n（NLP/Transformer）—— 深度学习时代影响力最大的两门大学课，讲义和作业全部公开。
• fast.ai —— 「先跑起来再深入」的自顶向下教学法，适合工程背景、想快速建立手感的人。
• Hugging Face Learn —— LLM、RL、Agents、扩散模型的免费实战课程，紧贴最新生态。
• 《Deep Learning》（Goodfellow 等） —— 理论基础的经典参考书，免费在线。啃不动可以当字典查。
• Sutton & Barto《Reinforcement Learning》 —— RL 圣经，免费 PDF。第 8 章学 RLHF 前值得读前几章。Sutton 的短文 《The Bitter Lesson》是理解「规模 vs 人工先验」之争的必读，只有两页。
• Chip Huyen《AI Engineering》（2025）—— 把模型变成产品的全栈视角：评估、数据管线、部署、监控。本课程第 8/9/13 章实战思想的成体系延伸，AI 工程师转型第一书。
• Iusztin & Labonne《LLM Engineering Handbook》—— 提示工程、微调、RAG、评估到生产模式的动手手册，适合学完本课程后做第二个完整项目时对照。

视频频道

• ★ 3Blue1Brown —— 数学直觉可视化天花板，神经网络系列是本课程第 1、3、6 章的指定视频。
• ★ Andrej Karpathy —— 《Neural Networks: Zero to Hero》系列：从手写反向传播到从零构建 GPT 再到「Deep Dive into LLMs」，全网最佳 LLM 实现教学。
• StatQuest —— 把统计与经典 ML 掰开揉碎，BAM！适合补基础。
• Welch Labs —— 制作精良的深度专题（AlphaFold、扩散模型、机器学习史）。
• Yannic Kilcher —— 论文速读与犀利点评，跟进研究前沿。
• 跟李沐学AI（B站） —— 论文精读系列用中文逐段精读 Transformer、GPT、CLIP 等经典论文，质量极高。

论文：怎么追、去哪追

• arXiv（cs.CL / cs.LG / cs.CV）—— 一手论文源头。直接刷会被淹没，建议配合下面的过滤器用。
• ★ Hugging Face Daily Papers —— 社区投票出的每日热门论文，信噪比最好的「论文过滤器」。
• Papers with Code —— 按任务找 SOTA 与对应代码实现。
• alphaXiv —— arXiv 论文的讨论层，可以看到作者答疑。
• Semantic Scholar —— 引文网络与文献综述辅助。

排行榜与评测：模型到底谁强

• ★ LMArena（原 Chatbot Arena） —— 真人盲测对战的 Elo 排行，比单一 benchmark 更难作弊，但注意它衡量的是「人类偏好」而非能力上限。
• LiveBench / SEAL —— 防污染设计的能力评测（题目定期更新/私有）。
• Artificial Analysis —— 各模型的价格/速度/质量横向对比，做选型和成本核算（第 9 章）必备。
• SWE-bench —— 真实 GitHub issue 修复能力，Agentic coding 的硬指标（第 11 章）。

Newsletter 与播客：定期投喂

• ★ Import AI（Jack Clark） —— Anthropic 联创每周精选，技术+政策视角，结尾的科幻小品是彩蛋。
• The Batch（Andrew Ng） —— 每周要闻+吴恩达的观点信。
• AI News（smol.ai） —— 自动聚合 Discord/Reddit/X 的每日讨论摘要，「全网今天在聊什么」一站看完。
• Latent Space —— AI 工程师视角的播客+Newsletter，对一线从业者访谈质量很高。
• Interconnects（Nathan Lambert） —— RLHF/开源模型训练的圈内深度分析，第 8 章主题的最佳跟踪源。
• TheSequence —— 面向 ML 工程师与 infra 团队的双周深潜：LLM 系统设计、AI 基础设施、MLOps，偏工程实现层（第 7/9 章主题的延伸阅读）。

实验室与官方博客：一手信息

• Anthropic Research 与 Engineering Blog —— 可解释性、Constitutional AI、Agent 构建实践（第 11 章引用其 agent 设计文章）。
• OpenAI Research · Google DeepMind · Meta AI —— 三大前沿实验室的发布页。
• Qwen Blog · DeepSeek News —— 开源权重模型两大主力的技术报告，训练细节披露常比闭源模型多得多，是学习第 7、8 章内容的真实教材。
• Hugging Face Blog —— 开源生态风向标，常有把新技术讲透的深度长文（如 FineWeb 数据集报告、Ultra-Scale Playbook 分布式训练手册）。

社区

• r/LocalLLaMA —— 本地跑模型/微调/量化的最活跃社区，第 13 章实战话题（MLX、LoRA、小模型选型）的日常讨论都在这里。
• Hugging Face Hub —— 模型/数据集/Space 的 GitHub，看 trending 即可感知生态热点。
• GitHub Trending —— 工具层的新东西通常先在这里冒头。