浩天博客
深度学习教程

深度学习教程

深度学习教程

这个专题围绕神经网络的核心计算展开:矩阵微积分、反向传播、卷积、感受野、优化器几何、Attention 和小型 CNN。目标不是堆砌模型名称,而是把一次前向传播、一次梯度计算和一次参数更新讲到可以手算、可以写代码、可以调试。

深度学习很容易被框架封装成几行调用,但真正排查问题时,仍然需要理解张量形状、损失函数、梯度流、初始化、学习率和数据预处理。本站的文章会尽量把公式、代码和可视化放在同一条线索里。

如何学习这个专题

如果你对神经网络还不熟,建议先阅读矩阵微积分和两层 MLP 的反向传播,再看卷积与感受野。理解这些基础后,再进入 Transformer Attention、KV Cache 或多模态模型内容会更稳。不要急着比较大模型能力,先确认自己能解释一个小模型为什么会更新参数。

每个概念最好配合一个可运行小实验。比如改变学习率观察 loss surface 轨迹,修改 padding 和 stride 计算输出尺寸,手动打印中间梯度检查反向传播是否符合推导。这些小实验比只背公式更能帮助你定位错误。

内容边界

本站的深度学习文章偏基础和可复现,不承诺覆盖最新论文排行榜,也不把训练大模型作为默认目标。对于需要大量算力的数据集,本站会优先解释抽象机制和小规模替代实验。这样读者可以先建立正确的计算图和评估习惯,再决定是否进入更大的工程项目。

调试证据

一篇深度学习文章如果只展示最终 loss 或准确率,读者很难判断模型是否真的按预期工作。更有价值的证据包括输入张量形状、权重矩阵形状、前向输出、损失计算、局部梯度、参数更新量、训练/验证划分和错误样本。对于卷积文章,还应记录 kernel 大小、padding、stride、输出尺寸和感受野;对于 Attention 文章,还应记录 token 位置、Q/K/V 形状、score、softmax 权重和缓存状态。

这些中间值很重要,因为很多错误不会在最终指标里立即暴露。模型训练慢可能来自学习率、标签错位、维度转置、验证集泄漏或梯度消失。本站会尽量把这些可以检查的值写进教程,让读者能按步骤复查,而不是把模型当作黑盒。

从小模型走向大系统

小模型不是终点,但它们是理解大模型的入口。读者如果能解释两层 MLP、Tiny CNN 或 Attention toy example 的输入输出,就更容易判断大型框架中哪些张量被归一化、哪些参数被冻结、哪些状态被缓存、哪些指标证明模型在泛化。这个能力比记住模型名称更持久。

因此本站不会把深度学习专题写成模型排行榜摘要。后续补充会继续围绕可跟踪计算展开:公式如何落到代码,代码如何产生中间值,中间值如何支持结论。这样的内容更适合长期维护,也更容易让新读者确认页面不是低信息密度的泛泛介绍。

计算证据矩阵

主题 关键问题 应该检查的中间值
反向传播 梯度是否沿正确路径传播? 前向输出、loss、局部导数、权重梯度和更新幅度。
卷积与感受野 输出尺寸和感受野是否符合推导? 输入形状、kernel、padding、stride、输出形状和覆盖区域。
优化器 参数移动是否由合理的学习率控制? 梯度范数、步长、loss 曲线、震荡区间和停止条件。
Attention 模型在比较哪些 token,缓存是否一致? Q/K/V 形状、score、softmax 权重、mask 和 KV cache 状态。

专题路线

深度学习数学与 CNN 学习专题

把神经网络基础、矩阵微积分、反向传播、优化器、卷积、Attention、CIFAR-10 Tiny CNN 组织成一条可搜索、可运行的学习路线。

适合正在搜索深度学习数学、反向传播推导、卷积公式、Attention 计算、CIFAR-10 CNN 教程和可视化实验的读者。

专题说明

为什么这些文章放在同一条路线里

这个专题不是把深度学习名词排成目录,而是把每个概念放回一次可检查的计算过程:前向传播产生什么张量,损失函数怎样把误差信号压回参数,优化器又如何改变下一步的更新方向。

文章路线故意从小规模矩阵和手算梯度开始,再进入卷积、Attention 和 CIFAR-10 Tiny CNN。这样读者可以先确认公式和代码输出一致,再把同一套判断迁移到更大的框架项目。

配套资源包含可运行脚本、动画和训练输出,审核或复习时可以从公式、代码、结果三条线交叉验证,而不是只停留在概念摘要。

你会完成什么

你会手算核心公式,运行 NumPy 实验,查看图示和动画,再进入小型 CNN 图像分类项目。

  • 深度学习数学可视化
  • 反向传播手算推导
  • 梯度下降 Adam 几何解释
  • 卷积感受野公式
  • Transformer Attention 手算

推荐阅读顺序

先建立概念,再进入可运行项目

神经网络基础:从感知机到多层网络

从一个神经元讲起,解释权重、偏置、激活函数、前向传播、反向传播和典型神经网络训练循环。

难度: 进阶 阅读时间: 8 分钟
  • Neural Networks
  • Backpropagation
  • Python

资源与分发素材

代码、数据、图示和可分享摘要集中管理

常见问题

把搜索问题直接回答清楚

这个专题适合没有深度学习经验的读者吗?

适合有编程基础的读者。建议先读神经网络基础,再按矩阵微积分、反向传播、优化器、卷积、Attention 的顺序进入。

为什么第一版用 C 写 CNN,而不是只用 PyTorch?

C 版本会暴露数据布局、卷积循环和参数更新细节,适合作为理解框架之前的底层练习。

向下探索