LATENT SPACE LAB · 训练中 · EPOCH ∞

机器学习与人工智能
第一性原理到 Agentic AI

数学推导 × 从零实现 × 精选视频讲解 × 交互实验 · 持续迭代更新

这门课程带你走完一条完整的路径:从「什么是机器学习」的第一性原理出发,经过经典算法、深度学习、Transformer 架构,一直到最前沿的大语言模型训练技术与 Agentic AI 系统设计。每一章都包含详细的数学推导从零实现的代码配观看指南的精选视频,以及可以动手玩的交互实验与章节测验

AUDIO // 课程语音导读 · 0:25

如何使用这门课程

课程大纲

00
序章 · AI 七十年:交互式历史时间轴
可无限拖动缩放的历史画布:7 条主线泳道 · 55+ 个里程碑(点击看技术详解)· 两次 AI 寒冬 · 从 1943 麦卡洛克-皮茨神经元到 2026 Agentic AI · AlphaGo 纪录片
ready
01
机器学习入门与核心概念
机器学习的本质 · 监督/无监督/强化学习 · 损失函数与泛化 · 线性回归完整推导(正规方程+梯度下降)· 偏差-方差分解 · NumPy 从零实现 · 交互式梯度下降实验室
ready
02
经典机器学习算法
逻辑回归与交叉熵完整推导 · Softmax 与温度参数 · 决策树(信息增益/基尼)· 随机森林与梯度提升/XGBoost · SVM 对偶与核技巧 · 决策边界对决实验室(三种算法实时可视化)
ready
03
深度学习基础
XOR 伏笔回收 · 万能逼近定理及其误读 · 反向传播四步完整推导(δ 递推)· 激活函数演化(sigmoid→ReLU→SwiGLU)· SGD→Momentum→Adam→AdamW 逐项推导 · He/Xavier 初始化 · Dropout/BatchNorm/LayerNorm/RMSNorm · 浏览器内训练真神经网络的实验室 · NumPy 手写反向传播 vs PyTorch
ready
04
CNN 与计算机视觉
归纳偏置:局部连接+权重共享 · 输出尺寸/通道/感受野 · LeNet→ResNet 五次顿悟 · 残差连接=梯度高速公路(∂y/∂x=∂F/∂x+I)· ViT 与苦涩的教训 · 卷积核实验室(亲手编辑 3×3 核看 feature map)
ready
05
序列模型:RNN/LSTM 与注意力的诞生
时间维权重共享 · BPTT 与 W_h 自乘的指数命运 · 梯度裁剪 · LSTM 三门推导(细胞状态=时间维残差)· Seq2Seq 固定向量瓶颈 · Bahdanau 注意力三步曲(Q/K/V 雏形)· 教师强制与曝光偏差 · 注意力对齐热图实验室
ready
06
Transformer 架构深度解析 ★ 核心章
从 Bahdanau 到 Self-Attention 的三步改造 · √d_k 方差推导 · 因果掩码与训练并行 · 多头子空间分工 · 位置编码(正弦→RoPE 旋转)· FFN/Pre-LN/残差组装 GPT 块 · 12Ld² 参数速算验证 GPT-2 · 自注意力步进计算器 · Karpathy nanoGPT 必跟写
ready
07
大语言模型 I:预训练
下一词预测=压缩 · BPE 与 tokenizer 背的锅 · Kaplan→Chinchilla→过训练(推理最优)· FineWeb 数据管线 · 3D 并行与 ZeRO · Dense vs MoE 细账 · 线性/混合注意力与框架成熟度(15 倍吞吐案例)· 训练超参实务 · Scaling 计算器实验室
ready
08
大语言模型 II:对齐与微调
Base model=文档模拟器 · SFT 工程(chat template/loss mask/LIMA)· 小模型+SFT 垂直闭环方法论(评测先行/0→9 基线)· LoRA 数学与 QLoRA · RLHF 与 reward hacking · DPO 三步完整推导 · GRPO/RLVR 推理模型引擎 · LoRA 显存计算器 · MLX 实战命令
ready
09
LLM 推理与部署
Prefill/Decode 与 roofline 心算 · KV Cache 公式与显存账 · MQA→GQA→MLA · PagedAttention/vLLM · 量化谱系 · 推测解码为何无损 · 采样全家桶 · 成本工程(缓存命中/用量漏斗/模型分层)· KV 计算器 + 产品成本估算器双实验室
ready
10
RAG 与向量检索
参数知识三宗罪 · 对比学习与双塔/cross-encoder 权衡 · HNSW「先飞机后骑车」· 父子块策略 · 混合召回+RRF+重排两级漏斗 · 失败模式清单(lost in the middle…)· 长上下文 vs RAG · Agentic RAG · 语义 vs 关键词检索实验室 · 60 行最小 RAG
ready
11
Agentic AI 系统设计 ★ 重点章
Agent=while循环的去魅定义 · 工具调用机制拆解 · 工作流谱系与「三问」 · 上下文工程五手法 · 记忆与 Skills 沉淀 · Memory 独立系统设计深潜(精准写入/精准读取) · MCP 协议 · 多智能体编排 · 小模型任务设计学 · Coding Agent 真实架构解剖 · pass^k 与护栏 · 2026 前沿研究六方向 · 三轨迹模拟器 · 80 行裸写 Agent
ready
12
多模态与前沿
扩散模型数学(前向封闭式/ε-预测=回归/CFG)· 潜空间=课程名回收 · DiT · 多模态 LLM(一切终归 token)· 世界模型之争 · 评估四道滤网 · SAE 可解释性 · 三条未尽曲线 · 50 步去噪实验室(16×16 像素猫)
ready
13
实战收官 · 垂直场景的小模型后训练 ★ 毕业项目
端到端八步:Schema 设计(可验证性是设计出来的)· eval.py 与 0/12 基线 · 反向构造数据管线 · 架构对照实验(15 倍吞吐陷阱)· MLX 两段式训练(600 步验证→过夜全量)· 失败归因与数据迭代 · 量化部署与成本核算 · Agent 化集成与 RLVR 路标 · 校验器实验室
ready
A
附录 · 值得追踪的信息源
精选博客(Karpathy、Lilian Weng、苏剑林…)· 课程与书(CS231n、d2l.ai…)· 视频频道 · 论文与排行榜 · Newsletter 与播客 · 实验室官方博客 · 附追踪策略建议
ready
课程主线完结(序章 + 13 章 + 附录全部上线):26 个精选视频全部离线备份、14 个交互实验室、13 段语音导读、120+ 道带解析的测验题。建议学习顺序即章节顺序;附录信息源清单帮你在课程之后保持前沿。课程仍会不定期增补内容(时间轴新节点、附录新源)。

前置要求