ai-engineering-from-scratch-zh

Agent工程师最全学习路径 · 从零精通 AI 工程 · 20 阶段 503 课 · 中文全量翻译 + 配套站点 + 动画讲解视频 · 如何成为 AI Agent 工程师的修成指南

  • 语言Python
  • 默认分支main
  • 大小97.5 MB
  • 更新4 天前
在 GitHub 打开

README

AI Engineering from Scratch · 简体中文版

实现模型内部机制、检索流水线和 agent 运行时。测试它们，分析失败，并保留代码与评估结果。

开始学习 · 选择路径 · 试试实验 · 动手做项目 · 浏览课程目录

免费、开源，采用 MIT 许可。你可以在网站上学习，使用 coding agent，或在本地运行代码。

542 节课，20 个阶段。Python、TypeScript、Rust、Julia。

MIT License 542 lessons 20 phases GitHub stars 中文网站

本项目是 Rohit Ghumare 及社区创建的 AI Engineering from Scratch 的简体中文衍生版，由 fancy 维护。课程内容与结构跟随上游，中文翻译遵循 TRANSLATION.md。

特别鸣谢

IPWO 住宅代理：稳定连接、全球节点、多协议支持

IPWO 拥有 9000 万+ 活跃住宅 IP 资源，覆盖 195+ 个国家和地区。
提供动态住宅代理、静态住宅代理及不限量住宅代理。
适用于网页抓取、数据采集、浏览器自动化、跨境业务等场景。
我们订阅使用 Claude / Claude Code 时采用住宅 IP，长期使用稳定。
支持免费测试，9 折优惠码：0203

学习路径

路径 起始课程
模型基础 配置与工具链
LLM 系统 提示词工程
Agent 与交付 Agent 循环

比较职业路径 · 前置要求与学习时间

梯度下降

二十个起点沿着二次损失函数的梯度下降。图中展示每次更新后各点的位置及平均损失。

梯度下降将分散的起点移向损失最低点，平均损失随更新逐步降低。

在课程中调整学习率 · 用代码比较 GD、momentum 和 Adam

项目

三个项目均提供分阶段 starter、参考实现和本地评分器。完成环境配置后，在仓库根目录运行命令。实现对应阶段前，starter 会测试失败。

01 · 检索评估实验室 · Python · 排序指标与回归检查

候选版提高了平均 NDCG，但某个查询最相关证据的排名反而降低。构建逐查询比较，报告回归，并让它能够阻止发布检查通过。

使用 Python 3.10+。先复习 RAG与模型评估。依次实现排序验证、precision 与 recall、排名敏感指标和系统比较。

python3 scripts/project_test.py retrieval-evaluation-lab \
  --init learning-artifacts/retrieval-evaluation-lab
python3 scripts/project_test.py retrieval-evaluation-lab \
  --stage 1 --path learning-artifacts/retrieval-evaluation-lab --strict
python3 scripts/project_test.py retrieval-evaluation-lab \
  --all --path learning-artifacts/retrieval-evaluation-lab --strict

保留产物： 可复现的比较，包含逐查询差值与用于评分的相关性判断。指标描述的是这些判断，并不能证明回答正确。

开始项目 · 查看参考实现 · 使用自己的输入

02 · Agent 轨迹调试器 · TypeScript · 轨迹解析与计时

所给轨迹的总耗时仍为 100 ms，但 token 总用量增加了 200，且有一个 span 开始失败。分离重叠子任务与父任务执行时间，再生成可检查的报告，揭示变化。

评分器需要 Node.js 22.18+ 和 Python 3。依次实现 JSONL 解析、父级验证、区间运算和可检查的时间线。

python3 scripts/project_test.py agent-trace-debugger \
  --init learning-artifacts/agent-trace-debugger
python3 scripts/project_test.py agent-trace-debugger \
  --stage 1 --path learning-artifacts/agent-trace-debugger --strict
python3 scripts/project_test.py agent-trace-debugger \
  --all --path learning-artifacts/agent-trace-debugger --strict

保留产物： 输入轨迹、HTML 时间线与 JSON 回归报告。保留每个 span 独占的 token 数，避免把父级与子级用量重复计数。

开始项目 · 查看参考实现 · 交互式探索计时

03 · 工具调用防火墙 · Rust · 角色检查与批准回执

写入内容在审查后改变，或批准被重放。验证调用信封，检查调用方角色与路径，再消耗一次与精确请求和内容绑定的批准。

使用 Rust 与 Python 3.10+。先复习工具 schema 设计和安全边界。调用应用提供身份，模型只是提出操作。

python3 scripts/project_test.py tool-call-firewall \
  --init learning-artifacts/tool-call-firewall
python3 scripts/project_test.py tool-call-firewall \
  --stage 1 --path learning-artifacts/tool-call-firewall --strict
python3 scripts/project_test.py tool-call-firewall \
  --all --path learning-artifacts/tool-call-firewall --strict

保留产物： 展示请求操作和策略决策的审计回执。批准只在一次调用中单次使用；本项目不提供持久授权，也不是操作系统沙箱。

开始项目 · 查看参考实现 · 探索批准边界

浏览全部项目 · 职业实践指南

选择学习方式

在网站上学习

在 aieng-zh.cn 打开任意已完成的课程，或在下方课程目录中展开一个阶段。无需配置环境，也无需克隆仓库。

使用 AI 导师

如果已经安装 Node.js、npx 和支持 skill 的 coding agent，你的 coding agent 就可以成为导师。安装和阅读导师技能不需要克隆仓库。专项路径中可运行的实验需要 python3；Agent Skills 的宿主实验还需要选定宿主，以及可写入的用户或项目技能目录。

npx skills add fancyboi999/ai-engineering-from-scratch-zh

安装器询问时，选择宿主和安装范围。在 Codex 中使用 start-learning，在 Claude Code 中使用 /start-learning，或让其他宿主按名称使用该技能。

导师配置与宿主命令

先检查本地要求：

node --version
npx --version
python3 --version

skills 会写入安装时选定的宿主和范围，例如 .claude/skills/、.cursor/skills/、.codex/skills/ 或其他受支持的技能目录。检查所选宿主能否发现这个确切位置。

调用语法由宿主决定，不属于可移植的 SKILL.md 格式：

宿主 开始全课程 开始模型上下文协议（MCP） 开始 Agent Skills 运行阶段测验
Codex start-learning，或从 /skills 选择 learn-mcp，或从 /skills 选择 learn-agent-skills，或从 /skills 选择 check-understanding 13，或从 /skills 选择
Claude Code /start-learning /learn-mcp /learn-agent-skills /check-understanding 13
其他兼容宿主 使用 start-learning 开始课程。 使用 learn-mcp 开始模型上下文协议（MCP）路径。 使用 learn-agent-skills 开始 Agent Skills 工程路径。 使用 check-understanding 测验阶段 13。

十道题的定级测验会将你已有的知识映射到起始阶段，并把个性化学习计划保存到 LEARNING.md。随后，learn 技能每次会话教一节课：概念、数学、代码、测验。它直接从本仓库读取课程；course-guide 技能可以将你卡住的问题定位到具体课程。在 Codex 中使用 learn 和 course-guide，在 Claude Code 中使用 /learn 和 /course-guide，在其他兼容宿主中按名称调用即可。

只想学模型上下文协议（MCP）？使用宿主对应的 MCP 调用方式。它会生成 MCP-LEARNING.md，沿 17 节课的路线学习无状态请求、传输、双向交互、安全、可靠性、注册表治理和一致性证据。确切顺序和检查点见 MCP 路径清单。

只想学 Agent Skills？使用宿主对应的调用方式。它会生成 AGENT-SKILLS-LEARNING.md，按五节课学习契约、发现、调用、沙箱边界、发布评估与真实宿主的可移植性。网站入口见 Agent Skills 路径。

安装器会列出可配置的宿主并询问安装位置。如果暂时没有 Node.js、npx、python3、受支持的宿主或可写入范围，可以先使用网站，或直接阅读 docs/zh.md。这样可以学习概念；真实宿主的发现、调用、脚本和卸载验证，需要等环境预检通过后再完成。课程可在 aieng-zh.cn 阅读。

学习技能

技能 作用
start-learning 首次引导：明确学习目标、完成定级测验，并将个性化计划保存到 LEARNING.md。
learn 导师循环：先回忆复习，再交互讲授下一课并完成测验；记录进度和复习队列。
course-guide 主题路由：把“去哪里学 attention？”或“我的 loss 是 NaN”等问题定位到具体课程，并给出链接。
learn-mcp MCP 专项导师。创建 MCP-LEARNING.md，遵循 17 课清单，记录协议线路、安全、可靠性与一致性证据。
learn-agent-skills Agent Skills 专项导师。创建 AGENT-SKILLS-LEARNING.md，讲授第 22、24、25、26、27 课，并记录真实宿主证据。
learn-reverse-engineering 逆向工程专项导师。创建 REVERSE-ENGINEERING-LEARNING.md，使用自己构建的程序学习阶段 13 第 32–45 课，并记录实验证据。
claude-certification Claude 认证导师。选择 CCAO-F、CCDV-F、CCAR-F 或 CCAR-P，逐课教学、运行实验、评审产物、组织诊断与模拟测验，并保存进度。
mcpa-certification MCPA 导师。按 2026-07-28 版协议学习 mcpa-f 的 34 课路线，运行实验与 wire checker，组织诊断和三套模拟测验，并保存进度。
find-your-level 十道题的定级测验。将已有知识映射到起始阶段，并生成带课时估算的个性化路径。
check-understanding <phase> 按阶段测验，八道题，附反馈和需要复习的具体课程。调用方式见上方宿主命令表。

在本地运行代码

git clone https://github.com/fancyboi999/ai-engineering-from-scratch-zh.git
cd ai-engineering-from-scratch-zh
python3 phases/00-setup-and-tooling/01-dev-environment/code/verify.py --route beginner
python3 phases/01-math-foundations/01-linear-algebra-intuition/code/vectors.py

环境预检会区分当前必需项与后续才需要的工具。每项必需检查失败时，都会给出检测到的原因和修正命令。vectors.py 不需要第三方依赖，最后会展示矩阵与向量相乘如何成为神经网络层内部的运算。把这段终端输出保存为你的第一份证据。

用同样的方法学习每一课

每节课的学习方法

  1. 阅读 docs/zh.md，用自己的话解释核心概念。
  2. 输入并构建关键代码，亲手实现它。
  3. 运行课程命令。工作目录是包含 README.md 和 phases/ 的仓库根目录。
  4. 保留证据：命令、工作目录、退出码、有意义的输出，以及你修改或生成的产物。
  5. 继续下一步之前，先解释清楚输出，并能在不靠猜测的情况下作出一个小修改。

除非课程明确要求切换目录，否则页面中的命令路径均相对于仓库根目录。课程提供多种语言时，运行你正在学习的语言实现。

选择学习路径

开始前不需要先扫完 542 节课。选一个目标即可。每个链接都对应 GitHub 或网站上的同一套课程，两处使用相同的课程代码。

你的目标 在 GitHub 上学习 在网站上学习
我是新手，想要完整地打牢基础 阶段 0 · 配置与工具链 开发环境
我懂 Python，想学数学与机器学习基础 阶段 1 · 数学基础 线性代数直觉
我想构建生产级 LLM 应用 阶段 11 · LLM 工程 提示词工程
我想构建自主 agent 阶段 14 · Agent 工程 Agent 循环
我想在真实代码仓库中使用 coding agent Agent 辅助工程路径 Agent 辅助工程
我想在编码实施前把产品方案想透定准 产品判断与交付路径 产品判断与交付

拿不准自己适合从哪开始？使用 start-learning 定位导师，或查看网站前置要求指南。

在 AI 工程学习路径中比较四大核心领域与六大职业发展路线。

MCP、Agent Skills 与逆向工程专项路径
你的目标 在 GitHub 上学习 在网站上学习
我想基于模型上下文协议（MCP）构建系统 MCP 路线 MCP 路径
我想编写并交付 Agent Skills Agent Skills 快速路线 Agent Skills 路径
我想读懂编译后的程序 逆向工程路线 逆向工程路径
前置要求与学习时间

前置要求

  • 能编写代码，语言不限，会 Python 更方便。
  • 希望理解 AI 的实际工作机制。

从哪里开始

你的背景 从哪开始 上游路线估算
编程和 AI 都是新手 阶段 0 — 配置与工具链 约 306 小时
会 Python，刚接触 ML 阶段 1 — 数学基础 约 270 小时
懂 ML，刚接触深度学习 阶段 3 — 深度学习核心 约 200 小时
懂深度学习，想学 LLM 和 agent 阶段 10 — 从零实现 LLM 约 100 小时
资深工程师，只想学 agent 工程 阶段 14 — Agent 工程 约 60 小时
只想构建生产级 MCP 系统 MCP 路径 约 23 小时 15 分
只想构建生产级 Agent Skills Agent Skills 工程路径 约 9.5 小时
只想学逆向工程 逆向工程路径 约 32.5 小时

路线估算沿用上游，不代表各课正文预计时长的总和。逐课时长见 ROADMAP.md，专项路径的必修范围和时长以 learning-paths/*.json 为准。

课程的结构

二十个阶段层层叠起来。数学是地基，agent 和生产部署是屋顶。下层的东西你已经会了，就尽管 往前跳；但别跳过去之后，又回头纳闷上层为什么塌了。

%%{init: {'theme':'base','themeVariables':{'primaryColor':'#fafaf5','primaryTextColor':'#1a1a1a','primaryBorderColor':'#3553ff','lineColor':'#3553ff'}}}%% flowchart TB P0["阶段 0 · 配置与工具链"] --> P1["阶段 1 · 数学基础"] P1 --> P2["阶段 2 · 机器学习基础"] P2 --> P3["阶段 3 · 深度学习核心"] P3 --> P4["阶段 4 · 计算机视觉"] P3 --> P5["阶段 5 · NLP"] P3 --> P6["阶段 6 · 语音与音频"] P3 --> P9["阶段 9 · 强化学习"] P5 --> P7["阶段 7 · Transformer"] P7 --> P8["阶段 8 · 生成式 AI"] P7 --> P10["阶段 10 · 从零实现 LLM"] P10 --> P11["阶段 11 · LLM 工程"] P10 --> P12["阶段 12 · 多模态 AI"] P11 --> P13["阶段 13 · 工具与协议"] P13 --> P14["阶段 14 · Agent 工程"] P14 --> P15["阶段 15 · 自主系统"] P15 --> P16["阶段 16 · 多 agent 与集群"] P14 --> P17["阶段 17 · 基础设施与生产"] P15 --> P18["阶段 18 · 伦理、安全与对齐"] P16 --> P19["阶段 19 · 综合项目"] P17 --> P19 P18 --> P19

课程目录

二十个阶段。点开任意阶段即可展开它的课程列表。

Phase 0: 配置与工具链 13 lessons

把环境准备好，迎接后面所有的内容。

# Lesson Type Lang
01 开发环境 Build Python
02 Git 与协作 Learn —
03 GPU 配置与云端 Build Python
04 API 与密钥 Build Python
05 Jupyter Notebook Build Python
06 Python 环境管理 Build Shell
07 面向 AI 的 Docker Build Docker
08 编辑器配置 Build —
09 数据管理 Build Python
10 终端与 Shell Learn —
11 面向 AI 的 Linux Learn —
12 调试与性能分析 Build Python
13 AI 工程的 Python 基础 Build Python
Phase 1 — 数学基础  22 lessons  每个 AI 算法背后的直觉，用代码讲清楚。
# Lesson Type Lang
01 线性代数直觉 Learn Python, Julia
02 向量、矩阵与运算 Build Python, Julia
03 矩阵变换与特征值 Build Python, Julia
04 机器学习里的微积分：导数与梯度 Learn Python
05 链式法则与自动微分 Build Python
06 概率与分布 Learn Python
07 贝叶斯定理与统计思维 Build Python
08 优化：梯度下降家族 Build Python
09 信息论：熵与 KL 散度 Learn Python
10 降维：PCA、t-SNE、UMAP Build Python
11 奇异值分解 Build Python, Julia
12 张量运算 Build Python
13 数值稳定性 Build Python
14 范数与距离 Build Python
15 机器学习里的统计学 Build Python
16 采样方法 Build Python
17 线性方程组 Build Python
18 凸优化 Build Python
19 面向 AI 的复数 Learn Python
20 傅里叶变换 Build Python
21 机器学习里的图论 Build Python
22 随机过程 Learn Python
Phase 2 — 机器学习基础  21 lessons  经典机器学习——至今仍是大多数生产 AI 的骨架。
# Lesson Type Lang
01 什么是机器学习 Learn Python
02 从零实现线性回归 Build Python
03 逻辑回归与分类 Build Python
04 决策树与随机森林 Build Python
05 支持向量机 Build Python
06 KNN 与距离度量 Build Python
07 无监督学习：K-Means、DBSCAN Build Python
08 特征工程与特征选择 Build Python
09 模型评估：指标与交叉验证 Build Python
10 偏差、方差与学习曲线 Learn Python
11 集成方法：Boosting、Bagging、Stacking Build Python
12 超参数调优 Build Python
13 机器学习流水线与实验追踪 Build Python
14 朴素贝叶斯 Build Python
15 时间序列基础 Build Python
16 异常检测 Build Python
17 处理不平衡数据 Build Python
18 特征选择 Build Python
19 ML 系统设计 —— 从业务问题到落地模型 Build Python
20 生产环境中的模型监控 —— 数据漂移与概念漂移 Build Python
21 特征平台与训练-推理偏斜 Build Python
Phase 3 — 深度学习核心  13 lessons  从第一性原理出发的神经网络。先自己造一个，再碰框架。
# Lesson Type Lang
01 感知机：一切的起点 Build Python
02 多层网络与前向传播 Build Python
03 从零实现反向传播 Build Python
04 激活函数：ReLU、Sigmoid、GELU 及其原因 Build Python
05 损失函数：MSE、交叉熵、对比损失 Build Python
06 优化器：SGD、Momentum、Adam、AdamW Build Python
07 正则化：Dropout、权重衰减、BatchNorm Build Python
08 权重初始化与训练稳定性 Build Python
09 学习率调度与 Warmup Build Python
10 造一个你自己的迷你框架 Build Python
11 PyTorch 入门 Build Python
12 JAX 入门 Build Python
13 调试神经网络 Build Python
Phase 4 — 计算机视觉  28 lessons  从像素到理解——图像、视频、3D、VLM 和世界模型。
# Lesson Type Lang
01 图像基础：像素、通道、色彩空间 Learn Python
02 从零实现卷积 Build Python
03 CNN：从 LeNet 到 ResNet Build Python
04 图像分类 Build Python
05 迁移学习与微调 Build Python
06 目标检测——从零实现 YOLO Build Python
07 语义分割——U-Net Build Python
08 实例分割——Mask R-CNN Build Python
09 图像生成——GAN Build Python
10 图像生成——扩散模型 Build Python
11 Stable Diffusion——架构与微调 Build Python
12 视频理解——时序建模 Build Python
13 3D 视觉：点云、NeRF Build Python
14 Vision Transformer（ViT） Build Python
15 实时视觉：边缘部署 Build Python
16 构建一条完整的视觉流水线 Build Python
17 自监督视觉——SimCLR、DINO、MAE Build Python
18 开放词表视觉——CLIP Build Python
19 OCR 与文档理解 Build Python
20 图像检索与度量学习 Build Python
21 关键点检测与姿态估计 Build Python
22 从零实现 3D 高斯泼溅 Build Python
23 Diffusion Transformer 与 Rectified Flow Build Python
24 SAM 3 与开放词表分割 Build Python
25 视觉语言模型（ViT-MLP-LLM） Build Python
26 单目深度与几何估计 Build Python
27 多目标跟踪与视频记忆 Build Python
28 世界模型与视频扩散 Build Python
Phase 5 — NLP：从基础到进阶  29 lessons  语言是通往智能的接口。
# Lesson Type Lang
01 文本处理：分词、词干提取、词形还原 Build Python
02 词袋、TF-IDF 与文本表示 Build Python
03 词嵌入：从零实现 Word2Vec Build Python
04 GloVe、FastText 与子词嵌入 Build Python
05 情感分析 Build Python
06 命名实体识别（NER） Build Python
07 词性标注与句法分析 Build Python
08 文本分类——用于文本的 CNN 与 RNN Build Python
09 序列到序列模型 Build Python
10 注意力机制——那次突破 Build Python
11 机器翻译 Build Python
12 文本摘要 Build Python
13 问答系统 Build Python
14 信息检索与搜索 Build Python
15 主题建模：LDA、BERTopic Build Python
16 文本生成 Build Python
17 聊天机器人：从规则到神经网络 Build Python
18 多语言 NLP Build Python
19 子词分词：BPE、WordPiece、Unigram、SentencePiece Learn Python
20 结构化输出与约束解码 Build Python
21 自然语言推理与文本蕴含 Learn Python
22 嵌入模型深入剖析 Learn Python
23 RAG 的分块策略 Build Python
24 指代消解 Learn Python
25 实体链接与消歧 Build Python
26 关系抽取与知识图谱构建 Build Python
27 LLM 评估：RAGAS、DeepEval、G-Eval Build Python
28 长上下文评估：NIAH、RULER、LongBench、MRCR Learn Python
29 对话状态跟踪 Build Python
Phase 6 — 语音与音频  17 lessons  听见、听懂、开口说。
# Lesson Type Lang
01 音频基础：波形、采样、FFT Learn Python
02 频谱图、梅尔刻度与音频特征 Build Python
03 音频分类 Build Python
04 语音识别（ASR） Build Python
05 Whisper：架构与微调 Build Python
06 说话人识别与验证 Build Python
07 文本转语音（TTS） Build Python
08 声音克隆与音色转换 Build Python
09 音乐生成 Build Python
10 音频语言模型 Build Python
11 实时音频处理 Build Python
12 搭一条语音助手流水线 Build Python
13 神经音频编解码器——EnCodec、SNAC、Mimi、DAC Learn Python
14 语音活动检测与轮次切换 Build Python
15 流式语音到语音——Moshi、Hibiki Learn Python
16 语音防伪与音频水印 Build Python
17 音频评估——WER、MOS、MMAU、排行榜 Learn Python
Phase 7 — Transformer 深入剖析  16 lessons  那个改变了一切的架构。
# Lesson Type Lang
01 为什么用 Transformer：RNN 的问题 Learn Python
02 从零实现自注意力 Build Python
03 多头注意力 Build Python
04 位置编码：正弦、RoPE、ALiBi Build Python
05 完整的 Transformer：编码器 + 解码器 Build Python
06 BERT——掩码语言建模 Build Python
07 GPT——因果语言建模 Build Python
08 T5、BART——编码器-解码器模型 Learn Python
09 Vision Transformer（ViT） Build Python
10 音频 Transformer——Whisper 架构 Learn Python
11 专家混合（MoE） Build Python
12 KV Cache、Flash Attention 与推理优化 Build Python
13 缩放定律 Learn Python
14 从零构建一个 Transformer Build Python
15 Attention 变体——滑动窗口、稀疏、差分 Build Python
16 投机解码——草稿、验证、重复 Build Python
Phase 8 — 生成式 AI  15 lessons  生成图像、视频、音频、3D，等等。
# Lesson Type Lang
01 生成模型：分类与历史 Learn Python
02 自编码器与 VAE Build Python
03 GAN：生成器 vs 判别器 Build Python
04 条件 GAN 与 Pix2Pix Build Python
05 StyleGAN Build Python
06 扩散模型——从零实现 DDPM Build Python
07 潜在扩散与 Stable Diffusion Build Python
08 ControlNet、LoRA 与条件控制 Build Python
09 图像修复、扩展与编辑 Build Python
10 视频生成 Build Python
11 音频生成 Build Python
12 3D 生成 Build Python
13 Flow Matching 与 Rectified Flow Build Python
14 评估：FID、CLIP Score Build Python
19 视觉自回归建模（VAR）：下一尺度预测 Build Python
Phase 9 — 强化学习  12 lessons  RLHF 和会玩游戏的 AI 的基石。
# Lesson Type Lang
01 MDP、状态、动作与奖励 Learn Python
02 动态规划 Build Python
03 蒙特卡洛方法 Build Python
04 Q-Learning、SARSA Build Python
05 深度 Q 网络（DQN） Build Python
06 策略梯度——REINFORCE Build Python
07 Actor-Critic——A2C、A3C Build Python
08 PPO Build Python
09 奖励建模与 RLHF Build Python
10 多智能体强化学习 Build Python
11 仿真到现实的迁移 Build Python
12 游戏中的强化学习 Build Python
Phase 10 — 从零实现 LLM  24 lessons  构建、训练并真正理解大语言模型。
# Lesson Type Lang
01 分词器：BPE、WordPiece、SentencePiece Build Python, Rust
02 从零实现一个分词器 Build Python
03 预训练的数据流水线 Build Python
04 预训练一个迷你 GPT（124M） Build Python
05 分布式训练、FSDP、DeepSpeed Build Python
06 指令微调——SFT Build Python
07 RLHF——奖励模型 + PPO Build Python
08 DPO——直接偏好优化 Build Python
09 Constitutional AI 与自我改进 Build Python
10 评估——基准与 evals Build Python
11 量化：INT8、GPTQ、AWQ、GGUF Build Python
12 推理优化 Build Python
13 搭一条完整的 LLM 流水线 Build Python
14 开源模型：架构逐一拆解 Learn Python
15 投机解码与 EAGLE-3 Build Python
16 差分注意力（V2） Build Python
17 原生稀疏注意力（DeepSeek NSA） Build Python
18 多 token 预测（MTP） Build Python
19 DualPipe 并行 Learn Python
20 DeepSeek-V3 架构拆解 Learn Python
21 Jamba——SSM-Transformer 混合架构 Learn Python
22 异步与 Hogwild! 推理 Build Python
25 推测解码与 EAGLE Build Python
34 梯度检查点与激活重算 Build Python
Phase 11 — LLM 工程  17 lessons  让 LLM 在生产环境里干活。
# Lesson Type Lang
01 提示工程：技巧与套路 Build Python
02 Few-Shot、CoT、Tree-of-Thought Build Python
03 结构化输出 Build Python
04 嵌入与向量表示 Build Python
05 上下文工程 Build Python
06 RAG：检索增强生成 Build Python
07 进阶 RAG：分块、重排 Build Python
08 用 LoRA 与 QLoRA 微调 Build Python
09 函数调用与工具使用 Build Python
10 评估与测试 Build Python
11 缓存、限流与成本 Build Python
12 护栏与安全 Build Python
13 构建一个生产级 LLM 应用 Build Python
14 模型上下文协议（MCP） Build Python
15 提示缓存与上下文缓存 Build Python
16 Agent 状态机——图、节点与检查点 Build Python
17 agent 框架的取舍 Learn Python
Phase 12 — 多模态 AI  25 lessons  跨模态地看、听、读、推理——从 ViT 的图块到操作电脑的 agent。
# Lesson Type Lang
01 Vision Transformer 与图块-token 原语 Learn Python
02 CLIP 与对比式视觉语言预训练 Build Python
03 BLIP-2 Q-Former 作为模态桥梁 Build Python
04 Flamingo 与门控交叉注意力 Learn Python
05 LLaVA 与视觉指令微调 Build Python
06 任意分辨率视觉——Patch-n’-Pack 与 NaFlex Build Python
07 开源权重 VLM 配方：真正要紧的是什么 Learn Python
08 LLaVA-OneVision：单图、多图、视频 Build Python
09 Qwen-VL 家族与动态 FPS 视频 Learn Python
10 InternVL3 原生多模态预训练 Learn Python
11 Chameleon 早融合纯 token Build Python
12 Emu3 用下一 token 预测做生成 Learn Python
13 Transfusion：自回归 + 扩散 Build Python
14 Show-o 离散扩散统一架构 Learn Python
15 Janus-Pro 解耦编码器 Build Python
16 MIO 任意到任意流式 Learn Python
17 视频语言时序定位 Build Python
18 百万 token 上下文下的长视频 Build Python
19 音频语言模型：从 Whisper 到 AF3 Build Python
20 Omni 模型：Thinker-Talker 流式 Build Python
21 具身 VLA：RT-2、OpenVLA、π0、GR00T Learn Python
22 文档与图表理解 Build Python
23 ColPali 视觉原生文档 RAG Build Python
24 多模态 RAG 与跨模态检索 Build Python
25 多模态 agent 与操作电脑（综合项目） Build Python
Phase 13 — 工具与协议  45 lessons  AI 与真实世界之间的接口，包括 Agent Skills 与无状态 MCP 的生产契约。
# Lesson Type Lang
01 工具接口 Learn Python
02 函数调用深入剖析 Build Python
03 并行与流式工具调用 Build Python
04 结构化输出 Build Python
05 工具 Schema 设计 Learn Python
06 MCP 基础 Learn Python
07 构建一个 MCP server Build Python
08 构建一个 MCP client Build Python
09 MCP 传输层 Learn Python
10 MCP 资源与提示 Build Python
11 MCP Sampling Build Python
12 MCP Roots 与 Elicitation Build Python
13 MCP 异步任务 Build Python
14 MCP Apps Build Python
15 MCP 安全 I——工具投毒 Learn Python
16 MCP 安全 II——OAuth 2.1 Build Python
17 MCP 网关与注册表 Learn Python
18 生产环境的 MCP 认证——iii 上的 DCR + JWKS Build Python
19 A2A 协议 Build Python
20 OpenTelemetry GenAI Build Python
21 LLM 路由层 Learn Python
22 Skills 与 Agent SDK Learn Python
23 综合项目——工具生态 Build Python
24 Skill 发现与渐进式披露 Build Python
25 Skill 调用与路由 Build Python
26 Skill 权限、沙箱与信任 Build Python
27 Skill 评测、打包与可移植性 Build Python
28 MCP 工具契约与内容 Build Python
29 MCP 可靠性、取消与流量控制 Build Python
30 MCP Registry 供应链：准入、漂移与回滚 Build Python
31 MCP 一致性工程：版本、证据与运维 Build Python
32 程序剖析：从零读取 ELF Build Python
33 反汇编与控制流：从字节到可验证的图 Build Python
34 提升为伪代码：从零构建 IR、SSA 与结构化流程 Build Python
35 二进制分析中的证据、置信度与未知项 Build Python
36 重建并证明等价：差分测试、字节比较与证据循环 Build Python
37 逆向工程全景：历史、工具家族与反编译器构建 Build Python
38 调用约定与栈帧：System V、Windows x64 与 AArch64 Build Python
39 编译器惯用模式：优化如何改变代码及如何读回 Build Python
40 链接、加载与去符号二进制：PLT、GOT、导入、修复与函数识别 Build Python
41 恢复数据与类型：结构体、数组、C++ 对象与 DWARF Build Python
42 对自有程序做动态分析：调试器、跟踪与静态结论验证 Build Python
43 原生代码之外：Python、JVM、.NET 与 WebAssembly 字节码 Build Python
44 二进制差分与符号执行：函数匹配与输入求解 Build Python
45 AI 辅助逆向工程：LLM 反编译器、分析 agent 与真实依据 Build Python

模型上下文协议（MCP）路径包含第 06–18、28–31 课，共 17 节必修课，按清单顺序学习，其中第 18 课先于第 17 课。Agent Skills 路径包含第 22、24–27 课，共 5 节必修课。第 23 课是两条路径的可选系统综合项目，开始前按各路径清单完成前置要求。

Phase 14 — Agent 工程  54 lessons  从第一性原理构建 agent，可靠使用 coding agent，并在实现前把工作定义清楚。
# Lesson Type Lang
01 Agent 循环 Build Python
02 ReWOO 与 Plan-and-Execute Build Python
03 Reflexion 与言语强化学习 Build Python
04 Tree of Thoughts 与 LATS Build Python
05 Self-Refine 与 CRITIC Build Python
06 工具使用与函数调用 Build Python
07 Agent 记忆——虚拟上下文与记忆分页 Build Python
08 记忆块与休眠时计算 Build Python
09 混合记忆——向量 + 图 + KV Build Python
10 技能库与终身学习——Voyager Build Python
11 用 HTN 与进化搜索做规划 Build Python
12 Anthropic 的工作流模式 Build Python
13 有状态图编排——持久执行与检查点 Build Python
14 Agent 的 Actor 模型——异步消息与类型化运行时 Build Python
15 基于角色的 Agent 团队——角色、任务与流程 Build Python
16 OpenAI Agents SDK——交接、护栏、追踪 Build Python
17 Harness 即库——子 agent 与会话存储 Build Python
18 生产级 Agent 运行时——快速实例化与类型化工作流 Learn Python
19 基准——SWE-bench、GAIA、AgentBench Learn Python
20 基准——WebArena 与 OSWorld Learn Python
21 操作电脑——Claude、OpenAI CUA、Gemini Build Python
22 语音 agent——Pipecat 与 LiveKit Build Python
23 OpenTelemetry GenAI 语义约定 Build Python
24 Agent 可观测性——Langfuse、Phoenix、Opik Learn Python
25 多 agent 辩论与协作 Build Python
26 失败模式——agent 为什么会崩 Build Python
27 提示注入与 PVE 防御 Build Python
28 编排模式——Supervisor、Swarm、分层 Build Python
29 生产级运行时——队列、事件、Cron Learn Python
30 Eval 驱动的 agent 开发 Build Python
31 Agent 工作台：能力强的模型为什么仍会失败 Learn Python
32 最小化 agent 工作台 Build Python
33 把 agent 指令写成可执行约束 Build Python
34 仓库记忆与持久化状态 Build Python
35 给 agent 的初始化脚本 Build Python
36 范围契约与任务边界 Build Python
37 运行时反馈回路 Build Python
38 验证关卡 Build Python
39 审查 agent：把构建者和评判者分开 Build Python
40 多会话交接 Build Python
41 在真实仓库上跑工作台 Build Python
42 综合项目：交付一套可复用的 agent 工作台包 Build Python
43 在 agent 写代码前框定任务 Build Python
44 制定由证据支撑的执行计划 Build Python
45 通过隔离与合并契约委派 agent 工作 Build Python
46 把每次 agent 纠正变成系统改进 Build Python
47 在选择产出前定义结果 Build Python
48 发现人们实际执行的工作流 Build Python
49 绘制假设地图，先化解风险最高的一项 Build Python
50 [选

README 内容过长，已截取前 64 KB。完整内容请前往 GitHub 仓库查看。

评论

暂无评论