深度学习教程
这个专题围绕神经网络的核心计算展开:矩阵微积分、反向传播、卷积、感受野、优化器几何、Attention 和小型 CNN。目标不是堆砌模型名称,而是把一次前向传播、一次梯度计算和一次参数更新讲到可以手算、可以写代码、可以调试。
深度学习很容易被框架封装成几行调用,但真正排查问题时,仍然需要理解张量形状、损失函数、梯度流、初始化、学习率和数据预处理。本站的文章会尽量把公式、代码和可视化放在同一条线索里。
如何学习这个专题
如果你对神经网络还不熟,建议先阅读矩阵微积分和两层 MLP 的反向传播,再看卷积与感受野。理解这些基础后,再进入 Transformer Attention、KV Cache 或多模态模型内容会更稳。不要急着比较大模型能力,先确认自己能解释一个小模型为什么会更新参数。
每个概念最好配合一个可运行小实验。比如改变学习率观察 loss surface 轨迹,修改 padding 和 stride 计算输出尺寸,手动打印中间梯度检查反向传播是否符合推导。这些小实验比只背公式更能帮助你定位错误。
内容边界
本站的深度学习文章偏基础和可复现,不承诺覆盖最新论文排行榜,也不把训练大模型作为默认目标。对于需要大量算力的数据集,本站会优先解释抽象机制和小规模替代实验。这样读者可以先建立正确的计算图和评估习惯,再决定是否进入更大的工程项目。
调试证据
一篇深度学习文章如果只展示最终 loss 或准确率,读者很难判断模型是否真的按预期工作。更有价值的证据包括输入张量形状、权重矩阵形状、前向输出、损失计算、局部梯度、参数更新量、训练/验证划分和错误样本。对于卷积文章,还应记录 kernel 大小、padding、stride、输出尺寸和感受野;对于 Attention 文章,还应记录 token 位置、Q/K/V 形状、score、softmax 权重和缓存状态。
这些中间值很重要,因为很多错误不会在最终指标里立即暴露。模型训练慢可能来自学习率、标签错位、维度转置、验证集泄漏或梯度消失。本站会尽量把这些可以检查的值写进教程,让读者能按步骤复查,而不是把模型当作黑盒。
从小模型走向大系统
小模型不是终点,但它们是理解大模型的入口。读者如果能解释两层 MLP、Tiny CNN 或 Attention toy example 的输入输出,就更容易判断大型框架中哪些张量被归一化、哪些参数被冻结、哪些状态被缓存、哪些指标证明模型在泛化。这个能力比记住模型名称更持久。
因此本站不会把深度学习专题写成模型排行榜摘要。后续补充会继续围绕可跟踪计算展开:公式如何落到代码,代码如何产生中间值,中间值如何支持结论。这样的内容更适合长期维护,也更容易让新读者确认页面不是低信息密度的泛泛介绍。
计算证据矩阵
| 主题 | 关键问题 | 应该检查的中间值 |
|---|---|---|
| 反向传播 | 梯度是否沿正确路径传播? | 前向输出、loss、局部导数、权重梯度和更新幅度。 |
| 卷积与感受野 | 输出尺寸和感受野是否符合推导? | 输入形状、kernel、padding、stride、输出形状和覆盖区域。 |
| 优化器 | 参数移动是否由合理的学习率控制? | 梯度范数、步长、loss 曲线、震荡区间和停止条件。 |
| Attention | 模型在比较哪些 token,缓存是否一致? | Q/K/V 形状、score、softmax 权重、mask 和 KV cache 状态。 |
专题路线
深度学习数学与 CNN 学习专题
把神经网络基础、矩阵微积分、反向传播、优化器、卷积、Attention、CIFAR-10 Tiny CNN 组织成一条可搜索、可运行的学习路线。
适合正在搜索深度学习数学、反向传播推导、卷积公式、Attention 计算、CIFAR-10 CNN 教程和可视化实验的读者。
专题说明
为什么这些文章放在同一条路线里
这个专题不是把深度学习名词排成目录,而是把每个概念放回一次可检查的计算过程:前向传播产生什么张量,损失函数怎样把误差信号压回参数,优化器又如何改变下一步的更新方向。
文章路线故意从小规模矩阵和手算梯度开始,再进入卷积、Attention 和 CIFAR-10 Tiny CNN。这样读者可以先确认公式和代码输出一致,再把同一套判断迁移到更大的框架项目。
配套资源包含可运行脚本、动画和训练输出,审核或复习时可以从公式、代码、结果三条线交叉验证,而不是只停留在概念摘要。
你会完成什么
你会手算核心公式,运行 NumPy 实验,查看图示和动画,再进入小型 CNN 图像分类项目。
推荐阅读顺序
先建立概念,再进入可运行项目
神经网络基础:从感知机到多层网络
从一个神经元讲起,解释权重、偏置、激活函数、前向传播、反向传播和典型神经网络训练循环。
神经网络矩阵微积分:从 y = Wx + b 推导 MSE 梯度
用手算、矩阵形状图、NumPy 代码和梯度检查解释 y = Wx + b 下 dL/dW = (ŷ - y)x^T 的来源。
反向传播计算图:两层 MLP 的前向、局部梯度和反向传播
把两层 MLP 拆成计算图,手算 ReLU、softmax cross-entropy、dW2、dW1,并用 NumPy 复现实验结果。
梯度下降与优化器几何:Momentum、Adam 和 loss surface 轨迹
在二维二次函数上手算梯度下降前几步,比较 Momentum 和 Adam 的轨迹,并用代码生成 loss contour。
卷积与感受野数学:5×5 输入、3×3 kernel、padding 和 im2col
手算一次 5x5 输入与 3x3 kernel 的离散卷积,解释输出尺寸、padding、stride、感受野和 im2col。
Transformer Attention 数学:Q/K/V、Softmax 权重、Mask 与 KV Cache
用 3 个 token 手算 scaled dot-product attention,解释 Q/K/V、softmax、mask、多头注意力和 KV cache。
CIFAR-10 Tiny CNN 教程:用 C 语言实现小型卷积神经网络图像分类
用单文件 C 程序完成 CIFAR-10 小型 CNN 图像分类,讲解数据格式、网络结构、训练命令、loss、accuracy、常见错误和改进方向。
模型训练与评估入门:损失函数、过拟合和准确率怎么理解
讲清楚模型训练中的参数、损失函数、梯度下降、过拟合,以及准确率、召回率、F1 等分类评估指标。
资源与分发素材
代码、数据、图示和可分享摘要集中管理
人工智能项目 / GUIDE
Deep Learning Math Lab 说明
包含安装命令、脚本入口、输出结果和文章图示生成说明。
人工智能项目 / ARCHIVE
深度学习数学完整实验包
打包 NumPy 脚本、CSV 结果、公式图、loss contour、卷积图和 attention 热图。
人工智能项目 / DATASET
梯度检查结果 CSV
保存 MSE 梯度解析值、数值差分值和误差范数。
人工智能项目 / DATASET
优化器轨迹 CSV
记录梯度下降、Momentum 和 Adam 在二维二次函数上的逐步坐标与 loss。
人工智能项目 / DATASET
Attention 权重 CSV
三 token scaled dot-product attention 的 scores、softmax weights 和 context 输出。
人工智能项目 / DIAGRAM
深度学习数学图示目录
包含矩阵形状、计算图、loss contour、卷积扫描和 attention heatmap。
人工智能项目 / TOOL
深度学习数学交互演示
在浏览器里调梯度检查、优化轨迹、卷积输出尺寸和 attention 权重热图。
人工智能项目 / CODE
cifar10_tiny_cnn.c 源码
单文件 C 语言 tiny CNN,包含 CIFAR-10 读取、卷积、池化、softmax 和反向传播。
人工智能项目 / DATASET
model_weights.bin 样例权重
一次本地小样本运行生成的模型权重文件。
人工智能项目 / DATASET
test_predictions.csv 预测样例
CIFAR-10 tiny CNN 输出的测试预测样例。
人工智能项目 / SOCIAL
深度学习专题分享图
用于分享深度学习 / CNN 专题页的 1200x630 SVG 图。
站点建设项目 / VIDEO
SEO 分发短视频脚本
4 个内容集群的 45-60 秒短视频脚本,可后续交给 Remotion 制作。
常见问题
把搜索问题直接回答清楚
这个专题适合没有深度学习经验的读者吗?
适合有编程基础的读者。建议先读神经网络基础,再按矩阵微积分、反向传播、优化器、卷积、Attention 的顺序进入。
为什么第一版用 C 写 CNN,而不是只用 PyTorch?
C 版本会暴露数据布局、卷积循环和参数更新细节,适合作为理解框架之前的底层练习。
