实现模型内部机制、检索流水线和 agent 运行时。测试它们,分析失败,并保留代码与评估结果。
开始学习 · 选择路径 · 试试实验 · 动手做项目 · 浏览课程目录
免费、开源,采用 MIT 许可。你可以在网站上学习,使用 coding agent,或在本地运行代码。
542 节课,20 个阶段。Python、TypeScript、Rust、Julia、Go。
本项目是 Rohit Ghumare 及社区创建的 AI Engineering from Scratch 的简体中文衍生版 ,由 fancy 维护。课程内容与结构跟随上游,中文翻译遵循 TRANSLATION.md 。
特别鸣谢
IPWO 拥有 9000 万+ 活跃住宅 IP 资源,覆盖 195+ 个国家和地区。
提供动态住宅代理、静态住宅代理及不限量住宅代理。
适用于网页抓取、数据采集、浏览器自动化、跨境业务等场景。
我们订阅使用 Claude / Claude Code 时采用住宅 IP,长期使用稳定。
支持免费测试 ,9 折优惠码: 0203
学习路径
比较职业路径 · 前置要求与学习时间
梯度下降
二十个起点沿着二次损失函数的梯度下降。图中展示每次更新后各点的位置及平均损失。
在课程中调整学习率 · 用代码比较 GD、momentum 和 Adam
项目
三个项目均提供分阶段 starter、参考实现和本地评分器。完成环境配置 后,在仓库根目录运行命令。实现对应阶段前,starter 会测试失败。
01 · 检索评估实验室 · Python · 排序指标与回归检查
候选版提高了平均 NDCG,但某个查询最相关证据的排名反而降低。构建逐查询比较,报告回归,并让它能够阻止发布检查通过。
使用 Python 3.10+。先复习 RAG 与模型评估 。依次实现排序验证、precision 与 recall、排名敏感指标和系统比较。
python3 scripts/project_test.py retrieval-evaluation-lab \
--init learning-artifacts/retrieval-evaluation-lab
python3 scripts/project_test.py retrieval-evaluation-lab \
--stage 1 --path learning-artifacts/retrieval-evaluation-lab --strict
python3 scripts/project_test.py retrieval-evaluation-lab \
--all --path learning-artifacts/retrieval-evaluation-lab --strict
保留产物: 可复现的比较,包含逐查询差值与用于评分的相关性判断。指标描述的是这些判断,并不能证明回答正确。
开始项目 · 查看参考实现 · 使用自己的输入
02 · Agent 轨迹调试器 · TypeScript · 轨迹解析与计时
所给轨迹的总耗时仍为 100 ms,但 token 总用量增加了 200,且有一个 span 开始失败。分离重叠子任务与父任务执行时间,再生成可检查的报告,揭示变化。
评分器需要 Node.js 22.18+ 和 Python 3。依次实现 JSONL 解析、父级验证、区间运算和可检查的时间线。
python3 scripts/project_test.py agent-trace-debugger \
--init learning-artifacts/agent-trace-debugger
python3 scripts/project_test.py agent-trace-debugger \
--stage 1 --path learning-artifacts/agent-trace-debugger --strict
python3 scripts/project_test.py agent-trace-debugger \
--all --path learning-artifacts/agent-trace-debugger --strict
保留产物: 输入轨迹、HTML 时间线与 JSON 回归报告。保留每个 span 独占的 token 数,避免把父级与子级用量重复计数。
开始项目 · 查看参考实现 · 交互式探索计时
03 · 工具调用防火墙 · Rust · 角色检查与批准回执
写入内容在审查后改变,或批准被重放。验证调用信封,检查调用方角色与路径,再消耗一次与精确请求和内容绑定的批准。
使用 Rust 与 Python 3.10+。先复习工具 schema 设计 和安全边界 。调用应用提供身份,模型只是提出操作。
python3 scripts/project_test.py tool-call-firewall \
--init learning-artifacts/tool-call-firewall
python3 scripts/project_test.py tool-call-firewall \
--stage 1 --path learning-artifacts/tool-call-firewall --strict
python3 scripts/project_test.py tool-call-firewall \
--all --path learning-artifacts/tool-call-firewall --strict
保留产物: 展示请求操作和策略决策的审计回执。批准只在一次调用中单次使用;本项目不提供持久授权,也不是操作系统沙箱。
开始项目 · 查看参考实现 · 探索批准边界
浏览全部项目 · 职业实践指南
选择学习方式
在网站上学习
在 aieng-zh.cn 打开任意已完成的课程,或在下方课程目录 中展开一个阶段。无需配置环境,也无需克隆仓库。
使用 AI 导师
如果已经安装 Node.js、npx 和支持 skill 的 coding agent,你的 coding agent 就可以成为导师。安装和阅读导师技能不需要克隆仓库。专项路径中可运行的实验需要 python3;Agent Skills 的宿主实验还需要选定宿主,以及可写入的用户或项目技能目录。
npx skills add fancyboi999/ai-engineering-from-scratch-zh
安装器询问时,选择宿主和安装范围。在 Codex 中使用 start-learning,在 Claude Code 中使用 /start-learning,或让其他宿主按名称使用该技能。
导师配置与宿主命令
先检查本地要求:
node --version
npx --version
python3 --version
skills 会写入安装时选定的宿主和范围,例如 .claude/skills/、.cursor/skills/、.codex/skills/ 或其他受支持的技能目录。检查所选宿主能否发现这个确切位置。
调用语法由宿主决定,不属于可移植的 SKILL.md 格式:
宿主
开始全课程
开始模型上下文协议(MCP)
开始 Agent Skills
运行阶段测验
Codex
start-learning,或从 /skills 选择
learn-mcp,或从 /skills 选择
learn-agent-skills,或从 /skills 选择
check-understanding 13,或从 /skills 选择
Claude Code
/start-learning
/learn-mcp
/learn-agent-skills
/check-understanding 13
其他兼容宿主
使用 start-learning 开始课程。
使用 learn-mcp 开始模型上下文协议(MCP)路径。
使用 learn-agent-skills 开始 Agent Skills 工程路径。
使用 check-understanding 测验阶段 13。
十道题的定级测验会将你已有的知识映射到起始阶段,并把个性化学习计划保存到 LEARNING.md。随后,learn 技能每次会话教一节课:概念、数学、代码、测验。它直接从本仓库读取课程;course-guide 技能可以将你卡住的问题定位到具体课程。在 Codex 中使用 learn 和 course-guide,在 Claude Code 中使用 /learn 和 /course-guide,在其他兼容宿主中按名称调用即可。
只想学模型上下文协议(MCP)?使用宿主对应的 MCP 调用方式。它会生成 MCP-LEARNING.md,沿 17 节课的路线学习无状态请求、传输、双向交互、安全、可靠性、注册表治理和一致性证据。确切顺序和检查点见 MCP 路径清单 。
只想学 Agent Skills?使用宿主对应的调用方式。它会生成 AGENT-SKILLS-LEARNING.md,按五节课学习契约、发现、调用、沙箱边界、发布评估与真实宿主的可移植性。网站入口见 Agent Skills 路径 。
安装器会列出可配置的宿主并询问安装位置。如果暂时没有 Node.js、npx、python3、受支持的宿主或可写入范围,可以先使用网站,或直接阅读 docs/zh.md。这样可以学习概念;真实宿主的发现、调用、脚本和卸载验证,需要等环境预检通过后再完成。课程可在 aieng-zh.cn 阅读。
学习技能
在本地运行代码
git clone https://github.com/fancyboi999/ai-engineering-from-scratch-zh.git
cd ai-engineering-from-scratch-zh
python3 phases/00-setup-and-tooling/01-dev-environment/code/verify.py --route beginner
python3 phases/01-math-foundations/01-linear-algebra-intuition/code/vectors.py
环境预检会区分当前必需项与后续才需要的工具。每项必需检查失败时,都会给出检测到的原因和修正命令。vectors.py 不需要第三方依赖,最后会展示矩阵与向量相乘如何成为神经网络层内部的运算。把这段终端输出保存为你的第一份证据。
用同样的方法学习每一课
每节课的学习方法
阅读 docs/zh.md,用自己的话解释核心概念。
输入并构建 关键代码,亲手实现它。
运行 课程命令。工作目录是包含 README.md 和 phases/ 的仓库根目录。
保留证据 :命令、工作目录、退出码、有意义的输出,以及你修改或生成的产物。
继续下一步 之前,先解释清楚输出,并能在不靠猜测的情况下作出一个小修改。
除非课程明确要求切换目录,否则页面中的命令路径均相对于仓库根目录。课程提供多种语言时,运行你正在学习的语言实现。
选择学习路径
开始前不需要先扫完 542 节课。选一个目标即可。每个链接都对应 GitHub 或网站上的同一套课程,两处使用相同的课程代码。
拿不准自己适合从哪开始?使用 start-learning 定位导师 ,或查看网站前置要求指南 。
在 AI 工程学习路径 中比较四大核心领域与六大职业发展路线。
MCP、Agent Skills 与逆向工程专项路径
前置要求与学习时间
前置要求
能编写代码,语言不限,会 Python 更方便。
希望理解 AI 的实际工作机制。
从哪里开始
你的背景
从哪开始
上游路线估算
编程和 AI 都是新手
阶段 0 — 配置与工具链
约 306 小时
会 Python,刚接触 ML
阶段 1 — 数学基础
约 270 小时
懂 ML,刚接触深度学习
阶段 3 — 深度学习核心
约 200 小时
懂深度学习,想学 LLM 和 agent
阶段 10 — 从零实现 LLM
约 100 小时
资深工程师,只想学 agent 工程
阶段 14 — Agent 工程
约 60 小时
只想构建生产级 MCP 系统
MCP 路径
约 23 小时 15 分
只想构建生产级 Agent Skills
Agent Skills 工程路径
约 9.5 小时
只想学逆向工程
逆向工程路径
约 32.5 小时
路线估算沿用上游,不代表各课正文预计时长的总和。逐课时长见 ROADMAP.md ,专项路径的必修范围和时长以 learning-paths/*.json 为准。
课程的结构
二十个阶段层层叠起来。数学是地基,agent 和生产部署是屋顶。下层的东西你已经会了,就尽管
往前跳;但别跳过去之后,又回头纳闷上层为什么塌了。
%%{init: {'theme':'base','themeVariables':{'primaryColor':'#fafaf5','primaryTextColor':'#1a1a1a','primaryBorderColor':'#3553ff','lineColor':'#3553ff'}}}%%
flowchart TB
P0["阶段 0 · 配置与工具链"] --> P1["阶段 1 · 数学基础"]
P1 --> P2["阶段 2 · 机器学习基础"]
P2 --> P3["阶段 3 · 深度学习核心"]
P3 --> P4["阶段 4 · 计算机视觉"]
P3 --> P5["阶段 5 · NLP"]
P3 --> P6["阶段 6 · 语音与音频"]
P3 --> P9["阶段 9 · 强化学习"]
P5 --> P7["阶段 7 · Transformer"]
P7 --> P8["阶段 8 · 生成式 AI"]
P7 --> P10["阶段 10 · 从零实现 LLM"]
P10 --> P11["阶段 11 · LLM 工程"]
P10 --> P12["阶段 12 · 多模态 AI"]
P11 --> P13["阶段 13 · 工具与协议"]
P13 --> P14["阶段 14 · Agent 工程"]
P14 --> P15["阶段 15 · 自主系统"]
P15 --> P16["阶段 16 · 多 agent 与集群"]
P14 --> P17["阶段 17 · 基础设施与生产"]
P15 --> P18["阶段 18 · 伦理、安全与对齐"]
P16 --> P19["阶段 19 · 综合项目"]
P17 --> P19
P18 --> P19
classDef phase fill:#fafaf5,stroke:#3553ff,color:#1a1a1a
class P0,P1,P2,P3,P4,P5,P6,P7,P8,P9,P10,P11,P12,P13,P14,P15,P16,P17,P18,P19 phase
课程目录
二十个阶段。点开任意阶段即可展开它的课程列表。
Phase 0: 配置与工具链 13 lessons
把环境准备好,迎接后面所有的内容。
Phase 1 — 数学基础 22 lessons 每个 AI 算法背后的直觉,用代码讲清楚。
#
Lesson
Type
Lang
01
线性代数直觉
Learn
Python, Julia
02
向量、矩阵与运算
Build
Python, Julia
03
矩阵变换与特征值
Build
Python, Julia
04
机器学习里的微积分:导数与梯度
Learn
Python, Julia
05
链式法则与自动微分
Build
Python, Julia
06
概率与分布
Learn
Python, Julia
07
贝叶斯定理与统计思维
Build
Python, TypeScript
08
优化:梯度下降家族
Build
Python, Julia
09
信息论:熵与 KL 散度
Learn
Python, TypeScript
10
降维:PCA、t-SNE、UMAP
Build
Python, TypeScript, Julia
11
奇异值分解
Build
Python, Julia
12
张量运算
Build
Python, TypeScript
13
数值稳定性
Build
Python, TypeScript, Julia
14
范数与距离
Build
Python, TypeScript
15
机器学习里的统计学
Build
Python, TypeScript
16
采样方法
Build
Python, TypeScript, Julia
17
线性方程组
Build
Python, TypeScript, Julia
18
凸优化
Build
Python, TypeScript, Julia
19
面向 AI 的复数
Learn
Python, TypeScript
20
傅里叶变换
Build
Python, TypeScript, Julia
21
机器学习里的图论
Build
Python, TypeScript
22
随机过程
Learn
Python, Julia
Phase 2 — 机器学习基础 21 lessons 经典机器学习——至今仍是大多数生产 AI 的骨架。
#
Lesson
Type
Lang
01
什么是机器学习
Learn
Python
02
从零实现线性回归
Build
Python, Rust, Julia
03
逻辑回归与分类
Build
Python, Rust, Julia
04
决策树与随机森林
Build
Python, TypeScript
05
支持向量机
Build
Python, Julia
06
KNN 与距离度量
Build
Python, TypeScript
07
无监督学习:K-Means、DBSCAN
Build
Python, TypeScript
08
特征工程与特征选择
Build
Python, TypeScript
09
模型评估:指标与交叉验证
Build
Python, Julia
10
偏差、方差与学习曲线
Learn
Python
11
集成方法:Boosting、Bagging、Stacking
Build
Python
12
超参数调优
Build
Python
13
机器学习流水线与实验追踪
Build
Python
14
朴素贝叶斯
Build
Python
15
时间序列基础
Build
Python
16
异常检测
Build
Python
17
处理不平衡数据
Build
Python
18
特征选择
Build
Python
19
ML 系统设计 —— 从业务问题到落地模型
Build
Python, TypeScript
20
生产环境中的模型监控 —— 数据漂移与概念漂移
Build
Python, TypeScript
21
特征平台与训练-推理偏斜
Build
Python, TypeScript
Phase 3 — 深度学习核心 13 lessons 从第一性原理出发的神经网络。先自己造一个,再碰框架。
#
Lesson
Type
Lang
01
感知机:一切的起点
Build
Python, TypeScript, Rust, Julia
02
多层网络与前向传播
Build
Python, TypeScript, Julia
03
从零实现反向传播
Build
Python, TypeScript, Rust, Julia
04
激活函数:ReLU、Sigmoid、GELU 及其原因
Build
Python, TypeScript, Julia
05
损失函数:MSE、交叉熵、对比损失
Build
Python, TypeScript, Julia
06
优化器:SGD、Momentum、Adam、AdamW
Build
Python, TypeScript, Julia
07
正则化:Dropout、权重衰减、BatchNorm
Build
Python, TypeScript, Julia
08
权重初始化与训练稳定性
Build
Python, TypeScript, Julia
09
学习率调度与 Warmup
Build
Python, TypeScript, Julia
10
造一个你自己的迷你框架
Build
Python, TypeScript, Julia
11
PyTorch 入门
Build
Python
12
JAX 入门
Build
Python
13
调试神经网络
Build
Python
Phase 4 — 计算机视觉 28 lessons 从像素到理解——图像、视频、3D、VLM 和世界模型。
Phase 5 — NLP:从基础到进阶 29 lessons 语言是通往智能的接口。
#
Lesson
Type
Lang
01
文本处理:分词、词干提取、词形还原
Build
Python, TypeScript
02
词袋、TF-IDF 与文本表示
Build
Python, TypeScript
03
词嵌入:从零实现 Word2Vec
Build
Python, Julia
04
GloVe、FastText 与子词嵌入
Build
Python, TypeScript
05
情感分析
Build
Python, TypeScript
06
命名实体识别(NER)
Build
Python, TypeScript
07
词性标注与句法分析
Build
Python, TypeScript
08
文本分类——用于文本的 CNN 与 RNN
Build
Python, TypeScript
09
序列到序列模型
Build
Python, TypeScript
10
注意力机制——那次突破
Build
Python, TypeScript
11
机器翻译
Build
Python, TypeScript
12
文本摘要
Build
Python, TypeScript
13
问答系统
Build
Python, TypeScript
14
信息检索与搜索
Build
Python, TypeScript, Rust
15
主题建模:LDA、BERTopic
Build
Python, TypeScript, Julia
16
文本生成
Build
Python, TypeScript
17
聊天机器人:从规则到神经网络
Build
Python, TypeScript
18
多语言 NLP
Build
Python, TypeScript
19
子词分词:BPE、WordPiece、Unigram、SentencePiece
Learn
Python, TypeScript, Rust
20
结构化输出与约束解码
Build
Python, TypeScript, Rust
21
自然语言推理与文本蕴含
Learn
Python, TypeScript
22
嵌入模型深入剖析
Learn
Python, TypeScript
23
RAG 的分块策略
Build
Python, TypeScript
24
指代消解
Learn
Python, TypeScript
25
实体链接与消歧
Build
Python, TypeScript
26
关系抽取与知识图谱构建
Build
Python, TypeScript
27
LLM 评估:RAGAS、DeepEval、G-Eval
Build
Python, TypeScript
28
长上下文评估:NIAH、RULER、LongBench、MRCR
Learn
Python, TypeScript
29
对话状态跟踪
Build
Python, TypeScript
Phase 6 — 语音与音频 17 lessons 听见、听懂、开口说。
#
Lesson
Type
Lang
01
音频基础:波形、采样、FFT
Learn
Python, TypeScript, Julia
02
频谱图、梅尔刻度与音频特征
Build
Python, TypeScript, Julia
03
音频分类
Build
Python, TypeScript
04
语音识别(ASR)
Build
Python, TypeScript
05
Whisper:架构与微调
Build
Python, TypeScript
06
说话人识别与验证
Build
Python, TypeScript
07
文本转语音(TTS)
Build
Python, TypeScript
08
声音克隆与音色转换
Build
Python, TypeScript
09
音乐生成
Build
Python, TypeScript
10
音频语言模型
Build
Python, TypeScript
11
实时音频处理
Build
Python, Rust
12
搭一条语音助手流水线
Build
Python, TypeScript
13
神经音频编解码器——EnCodec、SNAC、Mimi、DAC
Learn
Python, TypeScript
14
语音活动检测与轮次切换
Build
Python, TypeScript, Rust
15
流式语音到语音——Moshi、Hibiki
Learn
Python, TypeScript
16
语音防伪与音频水印
Build
Python, TypeScript
17
音频评估——WER、MOS、MMAU、排行榜
Learn
Python, TypeScript
Phase 7 — Transformer 深入剖析 16 lessons 那个改变了一切的架构。
#
Lesson
Type
Lang
01
为什么用 Transformer:RNN 的问题
Learn
Python, Julia
02
从零实现自注意力
Build
Python, Rust, Julia
03
多头注意力
Build
Python, Rust
04
位置编码:正弦、RoPE、ALiBi
Build
Python, Rust, Julia
05
完整的 Transformer:编码器 + 解码器
Build
Python, Julia
06
BERT——掩码语言建模
Build
Python, Rust
07
GPT——因果语言建模
Build
Python, Rust
08
T5、BART——编码器-解码器模型
Learn
Python, Rust
09
Vision Transformer(ViT)
Build
Python, Rust
10
音频 Transformer——Whisper 架构
Learn
Python, Rust
11
专家混合(MoE)
Build
Python, Rust
12
KV Cache、Flash Attention 与推理优化
Build
Python, Rust
13
缩放定律
Learn
Python, Rust
14
从零构建一个 Transformer
Build
Python
15
Attention 变体——滑动窗口、稀疏、差分
Build
Python, Rust
16
投机解码——草稿、验证、重复
Build
Python, Rust
Phase 8 — 生成式 AI 15 lessons 生成图像、视频、音频、3D,等等。
#
Lesson
Type
Lang
01
生成模型:分类与历史
Learn
Python, TypeScript
02
自编码器与 VAE
Build
Python, TypeScript
03
GAN:生成器 vs 判别器
Build
Python, TypeScript
04
条件 GAN 与 Pix2Pix
Build
Python, TypeScript
05
StyleGAN
Build
Python, TypeScript
06
扩散模型——从零实现 DDPM
Build
Python, TypeScript
07
潜在扩散与 Stable Diffusion
Build
Python, TypeScript
08
ControlNet、LoRA 与条件控制
Build
Python, TypeScript
09
图像修复、扩展与编辑
Build
Python, TypeScript
10
视频生成
Build
Python, TypeScript
11
音频生成
Build
Python, TypeScript
12
3D 生成
Build
Python, TypeScript
13
Flow Matching 与 Rectified Flow
Build
Python, TypeScript, Julia
14
评估:FID、CLIP Score
Build
Python, TypeScript
19
视觉自回归建模(VAR):下一尺度预测
Build
Python, Julia
Phase 9 — 强化学习 12 lessons RLHF 和会玩游戏的 AI 的基石。
#
Lesson
Type
Lang
01
MDP、状态、动作与奖励
Learn
Python, TypeScript
02
动态规划
Build
Python, TypeScript
03
蒙特卡洛方法
Build
Python, TypeScript
04
Q-Learning、SARSA
Build
Python, TypeScript
05
深度 Q 网络(DQN)
Build
Python, TypeScript
06
策略梯度——REINFORCE
Build
Python, TypeScript
07
Actor-Critic——A2C、A3C
Build
Python, TypeScript
08
PPO
Build
Python, TypeScript
09
奖励建模与 RLHF
Build
Python, TypeScript
10
多智能体强化学习
Build
Python, TypeScript
11
仿真到现实的迁移
Build
Python, TypeScript
12
游戏中的强化学习
Build
Python, TypeScript
Phase 10 — 从零实现 LLM 24 lessons 构建、训练并真正理解大语言模型。
#
Lesson
Type
Lang
01
分词器:BPE、WordPiece、SentencePiece
Build
Python, Rust
02
从零实现一个分词器
Build
Python, TypeScript
03
预训练的数据流水线
Build
Python, Rust
04
预训练一个迷你 GPT(124M)
Build
Python, Rust
05
分布式训练、FSDP、DeepSpeed
Build
Python
06
指令微调——SFT
Build
Python
07
RLHF——奖励模型 + PPO
Build
Python
08
DPO——直接偏好优化
Build
Python
09
Constitutional AI 与自我改进
Build
Python
10
评估——基准与 evals
Build
Python
11
量化:INT8、GPTQ、AWQ、GGUF
Build
Python, Rust
12
推理优化
Build
Python, Rust
13
搭一条完整的 LLM 流水线
Build
Python, Rust
14
开源模型:架构逐一拆解
Learn
Python, Rust
15
投机解码与 EAGLE-3
Build
Python, Rust
16
差分注意力(V2)
Build
Python, Rust
17
原生稀疏注意力(DeepSeek NSA)
Build
Python, Rust
18
多 token 预测(MTP)
Build
Python, Rust
19
DualPipe 并行
Learn
Python, Rust
20
DeepSeek-V3 架构拆解
Learn
Python, Rust
21
Jamba——SSM-Transformer 混合架构
Learn
Python, Rust
22
异步与 Hogwild! 推理
Build
Python, Rust
25
推测解码与 EAGLE
Build
Python
34
梯度检查点与激活重算
Build
Python
Phase 11 — LLM 工程 17 lessons 让 LLM 在生产环境里干活。
#
Lesson
Type
Lang
01
提示工程:技巧与套路
Build
Python, TypeScript
02
Few-Shot、CoT、Tree-of-Thought
Build
Python
03
结构化输出
Build
Python, TypeScript
04
嵌入与向量表示
Build
Python, TypeScript
05
上下文工程
Build
Python, TypeScript
06
RAG:检索增强生成
Build
Python, TypeScript
07
进阶 RAG:分块、重排
Build
Python, TypeScript
08
用 LoRA 与 QLoRA 微调
Build
Python
09
函数调用与工具使用
Build
Python, TypeScript
10
评估与测试
Build
Python, TypeScript
11
缓存、限流与成本
Build
Python, TypeScript
12
护栏与安全
Build
Python, TypeScript
13
构建一个生产级 LLM 应用
Build
Python, TypeScript
14
模型上下文协议(MCP)
Build
Python, TypeScript, Go
15
提示缓存与上下文缓存
Build
Python, TypeScript
16
Agent 状态机——图、节点与检查点
Build
Python
17
agent 框架的取舍
Learn
Python, TypeScript
Phase 12 — 多模态 AI 25 lessons 跨模态地看、听、读、推理——从 ViT 的图块到操作电脑的 agent。
#
Lesson
Type
Lang
01
Vision Transformer 与图块-token 原语
Learn
Python, TypeScript
02
CLIP 与对比式视觉语言预训练
Build
Python, TypeScript
03
BLIP-2 Q-Former 作为模态桥梁
Build
Python, TypeScript
04
Flamingo 与门控交叉注意力
Learn
Python, TypeScript
05
LLaVA 与视觉指令微调
Build
Python, TypeScript
06
任意分辨率视觉——Patch-n’-Pack 与 NaFlex
Build
Python, TypeScript
07
开源权重 VLM 配方:真正要紧的是什么
Learn
Python, TypeScript
08
LLaVA-OneVision:单图、多图、视频
Build
Python, TypeScript
09
Qwen-VL 家族与动态 FPS 视频
Learn
Python, TypeScript
10
InternVL3 原生多模态预训练
Learn
Python, TypeScript
11
Chameleon 早融合纯 token
Build
Python, TypeScript
12
Emu3 用下一 token 预测做生成
Learn
Python, TypeScript
13
Transfusion:自回归 + 扩散
Build
Python, TypeScript
14
Show-o 离散扩散统一架构
Learn
Python, TypeScript
15
Janus-Pro 解耦编码器
Build
Python, TypeScript
16
MIO 任意到任意流式
Learn
Python, TypeScript
17
视频语言时序定位
Build
Python, TypeScript
18
百万 token 上下文下的长视频
Build
Python, TypeScript
19
音频语言模型:从 Whisper 到 AF3
Build
Python, TypeScript
20
Omni 模型:Thinker-Talker 流式
Build
Python, TypeScript
21
具身 VLA:RT-2、OpenVLA、π0、GR00T
Learn
Python, TypeScript
22
文档与图表理解
Build
Python, TypeScript
23
ColPali 视觉原生文档 RAG
Build
Python, TypeScript
24
多模态 RAG 与跨模态检索
Build
Python, TypeScript
25
多模态 agent 与操作电脑(综合项目)
Build
Python, TypeScript
Phase 13 — 工具与协议 45 lessons AI 与真实世界之间的接口,包括 Agent Skills 与无状态 MCP 的生产契约。
#
Lesson
Type
Lang
01
工具接口
Learn
Python, TypeScript
02
函数调用深入剖析
Build
Python, TypeScript
03
并行与流式工具调用
Build
Python, TypeScript, Go
04
结构化输出
Build
Python, TypeScript
05
工具 Schema 设计
Learn
Python, TypeScript
06
MCP 基础
Learn
Python, TypeScript
07
构建一个 MCP server
Build
Python, TypeScript, Go
08
构建一个 MCP client
Build
Python, TypeScript
09
MCP 传输层
Learn
Python, TypeScript, Go
10
MCP 资源与提示
Build
Python, TypeScript
11
MCP Sampling
Build
Python, TypeScript
12
MCP Roots 与 Elicitation
Build
Python, TypeScript
13
MCP 异步任务
Build
Python, TypeScript
14
MCP Apps
Build
Python, TypeScript
15
MCP 安全 I——工具投毒
Learn
Python, TypeScript
16
MCP 安全 II——OAuth 2.1
Build
Python, TypeScript, Go
17
MCP 网关与注册表
Learn
Python, TypeScript, Go
18
生产环境的 MCP 认证——iii 上的 DCR + JWKS
Build
Python, TypeScript, Go
19
A2A 协议
Build
Python, TypeScript, Go
20
OpenTelemetry GenAI
Build
Python, TypeScript
21
LLM 路由层
Learn
Python, TypeScript, Go
22
Skills 与 Agent SDK
Learn
Python, TypeScript
23
综合项目——工具生态
Build
Python, TypeScript
24
Skill 发现与渐进式披露
Build
Python, TypeScript
25
Skill 调用与路由
Build
Python, TypeScript
26
Skill 权限、沙箱与信任
Build
Python, TypeScript
27
Skill 评测、打包与可移植性
Build
Python, TypeScript
28
MCP 工具契约与内容
Build
Python, TypeScript
29
MCP 可靠性、取消与流量控制
Build
Python, TypeScript
30
MCP Registry 供应链:准入、漂移与回滚
Build
Python, TypeScript
31
MCP 一致性工程:版本、证据与运维
Build
Python, TypeScript
32
程序剖析:从零读取 ELF
Build
Python, TypeScript, Rust
33
反汇编与控制流:从字节到可验证的图
Build
Python, TypeScript, Rust
34
提升为伪代码:从零构建 IR、SSA 与结构化流程
Build
Python, TypeScript
35
二进制分析中的证据、置信度与未知项
Build
Python, TypeScript
36
重建并证明等价:差分测试、字节比较与证据循环
Build
Python, TypeScript
37
逆向工程全景:历史、工具家族与反编译器构建
Build
Python, TypeScript
38
调用约定与栈帧:System V、Windows x64 与 AArch64
Build
Python, TypeScript
39
编译器惯用模式:优化如何改变代码及如何读回
Build
Python, TypeScript
40
链接、加载与去符号二进制:PLT、GOT、导入、修复与函数识别
Build
Python, TypeScript, Rust
41
恢复数据与类型:结构体、数组、C++ 对象与 DWARF
Build
Python, TypeScript
42
对自有程序做动态分析:调试器、跟踪与静态结论验证
Build
Python, TypeScript
43
原生代码之外:Python、JVM、.NET 与 WebAssembly 字节码
Build
Python, TypeScript
44
二进制差分与符号执行:函数匹配与输入求解
Build
Python, TypeScript
45
AI 辅助逆向工程:LLM 反编译器、分析 agent 与真实依据
Build
Python, TypeScript
模型上下文协议(MCP)路径 包含第 06–18、28–31 课,共 17 节必修课,按清单顺序学习,其中第 18 课先于第 17 课。Agent Skills 路径 包含第 22、24–27 课,共 5 节必修课。第 23 课是两条路径的可选系统综合项目,开始前按各路径清单完成前置要求。
Phase 14 — Agent 工程 54 lessons 从第一性原理构建 agent,可靠使用 coding agent,并在实现前把工作定义清楚。
#
Lesson
Type
Lang
01
Agent 循环
Build
Python, TypeScript
02
ReWOO 与 Plan-and-Execute
Build
Python, TypeScript
03
Reflexion 与言语强化学习
Build
Python, TypeScript
04
Tree of Thoughts 与 LATS
Build
Python, TypeScript
05
Self-Refine 与 CRITIC
Build
Python, TypeScript
06
工具使用与函数调用
Build
Python, TypeScript
07
Agent 记忆——虚拟上下文与记忆分页
Build
Python, TypeScript
08
记忆块与休眠时计算
Build
Python, TypeScript
09
混合记忆——向量 + 图 + KV
Build
Python, TypeScript
10
技能库与终身学习——Voyager
Build
Python, TypeScript
11
用 HTN 与进化搜索做规划
Build
Python, TypeScript
12
Anthropic 的工作流模式
Build
Python, TypeScript
13
有状态图编排——持久执行与检查点
Build
Python, TypeScript
14
Agent 的 Actor 模型——异步消息与类型化运行时
Build
Python, TypeScript
15
基于角色的 Agent 团队——角色、任务与流程
Build
Python
16
OpenAI Agents SDK——交接、护栏、追踪
Build
Python, TypeScript
17
Harness 即库——子 agent 与会话存储
Build
Python, TypeScript
18
生产级 Agent 运行时——快速实例化与类型化工作流
Learn
Python, TypeScript
19
基准——SWE-bench、GAIA、AgentBench
Learn
Python, TypeScript
20
基准——WebArena 与 OSWorld
Learn
Python, TypeScript
21
操作电脑——Claude、OpenAI CUA、Gemini
Build
Python, TypeScript
22
语音 agent——Pipecat 与 LiveKit
Build
Python, TypeScript
23
[OpenTelemetry GenAI 语义约定](phases/14-agent-engineering/23-otel-g
README 内容过长,已截取前 64 KB。完整内容请前往 GitHub 仓库查看。
评论