先建立共同地基，
再选择你的专门方向。

FOUNDATION必修

数学、Python 与深度学习基础

线性代数、微积分、概率、张量、自动微分、训练循环、过拟合与优化器。

先学什么

shape → 前向 → loss → gradient → update

过关标准

能手算一个梯度，并用 PyTorch 验证

D2L 2.0 中文版 PyTorch 60 分钟入门

从现有地基开始 →

VISION · 01基础任务

图像分类

一张图预测一个或多个类别，是理解 CNN、迁移学习、数据增强和混淆矩阵的最佳入口。

必学概念

Softmax、多标签、ResNet、预训练、Top-k

过关任务

训练果实健康状态分类器并解释错分

TorchVision 模型 CS231n 分类

VISION · 0274 章已就绪

目标检测

同时回答“是什么”和“在哪里”。已覆盖 D2L 检测支线、主流官方模型与本地 YOLO26。

必学概念

框、IoU、标签分配、NMS、FPN、集合预测

过关任务

能解释 YOLO26 双头并完成公平消融

官方模型中文导读YOLO26 YAML

进入完整课程 →

VISION · 03像素级

语义分割

给每个像素预测类别，适合地表、病斑、道路、果树冠层等连续区域。

必学概念

FCN、U-Net、DeepLab、mIoU、ignore index

过关任务

验证图像与掩膜增强严格同步

D2L 语义分割MMSegmentation

阅读现有章节 →

VISION · 04对象级像素

实例分割

既分出像素，又区分同类不同对象。重点理解检测框、RoIAlign 与实例掩膜如何对齐。

必学概念

Mask R-CNN、mask AP、proposal、粘连实例

过关任务

逐实例叠加掩膜并检查 N 与 boxes 一致

TorchVision 微调教程Detectron2

Mask R-CNN 中文导读 →

VISION · 05结构与时间

姿态估计与多目标跟踪

姿态预测关键点；跟踪在时间中维持身份。检测只是入口，关联、遮挡与重现才是难点。

必学概念

heatmap、OKS、Kalman、ReID、MOTA/HOTA

过关任务

解释“检测漏掉”和“身份切换”的不同来源

MMPoseByteTrack 作者仓库

VISION · 06文字视觉

OCR 与文档智能

文字检测、文字识别、版面分析和关键信息抽取组成完整文档理解流水线。

必学概念

CTC、文本检测、序列识别、layout、字符集

过关任务

从一页扫描件输出带坐标的可搜索文本

PaddleOCR 官方文档Tesseract 文档

LANGUAGE · 01序列建模

NLP 与大语言模型

从词向量、注意力和 Transformer，逐步进入预训练、指令微调、检索增强与评测。

必学概念

token、embedding、attention、pretraining、RAG

过关任务

实现小型注意力并解释每个张量 shape

D2L 注意力Hugging Face LLM Course

GENERATIVE · 02生成建模

生成模型与扩散模型

理解生成分布、潜变量、对抗训练和逐步去噪，再学习图像生成与条件控制。

必学概念

VAE、GAN、score、diffusion、classifier-free guidance

过关任务

画清正向加噪与反向去噪的概率链

Diffusers 文档DDPM 原论文

MULTIMODAL · 03跨模态

视觉语言与多模态模型

把图像与文字映射到共同语义空间，再进入图文检索、视觉问答和开放词汇检测。

必学概念

contrastive learning、CLIP、cross-attention、prompt

过关任务

用文本检索图像并分析失败类别

OpenAI CLIP零样本图像分类

LEARNING · 04决策学习

强化学习

智能体通过状态、动作和奖励学习策略。先从表格方法与策略梯度开始，再接入深度网络。

必学概念

MDP、value、policy、exploration、actor-critic

过关任务

在小环境中解释奖励曲线而非只看最高分

Sutton & Barto 教材Gymnasium

SYSTEMS · 01落地能力

训练系统与模型部署

从显存、混合精度和分布式训练，到 ONNX、TensorRT、量化与端到端延迟。

必学概念

AMP、DDP、profiling、graph、quantization

过关任务

验证导出前后数值误差并测真实设备延迟

ONNX RuntimeTensorRTOpenVINO

现有部署章节 →

RESEARCH · 02可信结论

实验设计与科研方法

定义假设、冻结测试集、建立基线、做多种子消融、保留失败切片和证据边界。

必学概念

control、ablation、variance、leakage、reproducibility

过关任务

让每个结论都能映射到表格、日志和代码版本

科研雷达可复现实验章节