CIFAR-10 Tiny CNN 教程：用 C 语言实现小型卷积神经网络图像分类
人工智能项目
CIFAR-10 Tiny CNN 教程：用 C 语言实现小型卷积神经网络图像分类
用单文件 C 程序完成 CIFAR-10 小型 CNN 图像分类，讲解数据格式、网络结构、训练命令、loss、accuracy、常见错误和改进方向。
人工智能项目

CIFAR-10 Tiny CNN 教程：用 C 语言实现小型卷积神经网络图像分类

阅读信息

难度: 进阶 阅读时间: 13 分钟
  • C
  • CNN
  • CIFAR-10
  • Backpropagation
打开知识图谱

这是一篇 CIFAR-10 Tiny CNN 教程。读完以后，你可以用一个单文件 C 程序完成小型卷积神经网络图像分类：读取 CIFAR-10 binary 数据、做 3 x 3 卷积、ReLU、2 x 2 最大池化、全连接、softmax，并运行一次小样本训练。

这篇文章基于本地项目里的 cifar10_tiny_cnn.c。它不是为了追求高准确率，而是为了把 CNN 的每一层变成能直接阅读和修改的 C 代码。

如果你刚开始学习神经网络，建议先读 神经网络基础：从感知机到多层网络。如果你已经看过 手写数字 Softmax 分类器，这篇就是从线性分类器进入卷积神经网络的下一步。

一、CIFAR-10 输入是什么样

CIFAR-10 的每张图片是 32 x 32 的彩色图像，有红、绿、蓝 3 个通道，所以程序里的输入形状是 3 x 32 x 32。每条样本对应一个类别标签，类别总数是 10。

源码里用几个常量把这个结构固定下来：

#define IMG_C 3
#define IMG_H 32
#define IMG_W 32
#define NCLASS 10

这里最值得注意的是：图像不再像手写数字项目那样拉平成一条 784 维向量后直接分类。CNN 会先保留二维空间结构，让卷积核在局部区域上滑动，提取边缘、颜色块和纹理模式。

二、Tiny CNN 模型结构和参数量

当前代码实际使用 16 个 3 x 3 卷积核。因为是 valid convolution，32 x 32 输入经过 3 x 3 卷积后会变成 30 x 30；再经过 2 x 2 最大池化后，空间大小变成 15 x 15。

#define NF 16
#define K 3
#define CONV_H (IMG_H - K + 1)
#define CONV_W (IMG_W - K + 1)
#define POOL_H (CONV_H / 2)
#define POOL_W (CONV_W / 2)
#define FEAT (NF * POOL_H * POOL_W)

所以完整路径是：

  • 输入：3 x 32 x 32
  • 卷积：16 个 3 x 3 卷积核，输出 16 x 30 x 30
  • ReLU：把负数激活压到 0
  • 最大池化：2 x 2，输出 16 x 15 x 15
  • 全连接：把池化结果映射到 10 个类别 logit
  • softmax：把 logit 转成类别概率

这份 tiny CNN 的参数量很小：卷积层有 16 * 3 * 3 * 3 + 16 = 448 个参数，全连接层有 10 * 3600 + 10 = 36010 个参数，总计 36458 个参数。这个规模适合教学和调试，不适合和现代 CIFAR-10 模型比较分数。

三、卷积层在 C 里怎么写

卷积层的核心就是多层循环。每个卷积核都会扫过输出网格中的每个位置，再对 3 个颜色通道和 3 x 3 局部窗口做乘加。

float sum = net->conv_b[f];
for (int c = 0; c < IMG_C; c++) {
    for (int r = 0; r < K; r++) {
        for (int t = 0; t < K; t++) {
            sum += net->conv_w[f][c][r][t] *
                   get_pixel(s->x, c, i + r, j + t);
        }
    }
}
conv[f][i][j] = sum > 0.0f ? sum : 0.0f;

最后一行同时完成了 ReLU。这样写很朴素，但能清楚看到卷积核、通道、局部窗口和输出位置之间的关系。

四、最大池化保留局部最强响应

池化层把每个 2 x 2 小窗口压成一个值，只保留最大激活。代码还记录了最大值的位置，因为反向传播时梯度只会传回当时胜出的那个位置。

float best = conv[f][base_i][base_j];
int best_idx = 0;
for (int di = 0; di < 2; di++) {
    for (int dj = 0; dj < 2; dj++) {
        float v = conv[f][base_i + di][base_j + dj];
        if (v > best) {
            best = v;
            best_idx = di * 2 + dj;
        }
    }
}

这一步会降低特征图尺寸，也让模型对小范围平移更稳一点。

五、全连接层和 softmax

池化后的特征会被展开成一维数组，再进入全连接层。每个类别有一组权重，输出 10 个 logit。

for (int k = 0; k < NCLASS; k++) {
    float z = net->fc_b[k];
    for (int p = 0; p < FEAT; p++) {
        z += net->fc_w[k][p] * feat[p];
    }
    logits[k] = z;
}

softmax 会把这 10 个原始分数归一化成概率。训练时用交叉熵损失，预测时选择概率最大的类别。

六、反向传播更新了哪些参数

这个 C 程序没有把反向传播藏进框架里。它显式做了四件事：

  • 从 softmax 概率减去真实标签，得到输出层梯度
  • 更新全连接层权重和偏置
  • 把梯度通过最大池化和 ReLU 传回卷积输出
  • 用输入局部窗口更新每个卷积核权重
net->fc_w[k][p] -= LR * dlogits[k] * feat[p];
net->fc_b[k] -= LR * dlogits[k];
...
net->conv_w[f][c][r][t] -= LR * dw;
net->conv_b[f] -= LR * db;

这也是这份代码最有学习价值的部分：你能看到 CNN 训练不是“神秘自动完成”，而是每一层都把自己的梯度算清楚，再把参数往降低损失的方向挪一步。

七、如何本地编译运行

站点只发布源码、权重样例、预测样例和说明文件，不上传完整 CIFAR-10 数据包。你需要从 CIFAR-10 官方页面下载 binary version，解压出 cifar-10-batches-bin 后再运行。

gcc -O2 -std=c11 cifar10_tiny_cnn.c -lm -o cifar10_tiny_cnn
./cifar10_tiny_cnn ./cifar-10-batches-bin 1 2000 1000

这四个命令行参数分别表示：

  • 数据目录
  • 训练轮数
  • 训练样本上限
  • 测试样本上限

用小样本先跑通更适合学习和调试。确认流程没问题后，再逐步提高训练样本数量和轮数。

八、训练结果：loss 和 accuracy

我用 2000 条训练样本、1000 条测试样本、1 个 epoch 跑了一次小样本训练，真实输出如下：

Loaded train=2000, test=1000
epoch 1 step 1000/2000 loss=2.0507 train_acc_recent_est=0.809
epoch 1 step 2000/2000 loss=1.9440 train_acc_recent_est=0.835
epoch 1 done: avg_loss=1.9440 train_acc=0.835 test_acc=0.284
Model saved to model_weights.bin
Predictions saved to test_predictions.csv

这里最重要的是不要误读结果。训练集估计准确率比较高，但测试准确率只有 0.284，说明这个小模型和这次小样本训练更适合教学演示，而不是最终性能模型。后续可以通过更多训练数据、更多 epoch、mini-batch、数据增强和更稳定的优化策略来提高泛化能力。

九、输出文件怎么看

程序结束后会写出两个文件：

  • model_weights.bin：当前模型参数，方便保留一次训练结果
  • test_predictions.csv：测试样本预测结果，可用来检查输出格式和类别分布

站点资源库里放的是小型公开配套资源，不包含完整训练数据。这样可以让文章、下载资源和实验记录保持可访问，同时避免把大型公开数据集重复托管到网站上。

十、如何改进 CIFAR-10 Tiny CNN 的效果

如果你的目标是提升准确率，而不只是理解 CNN 结构，可以优先尝试这些方向：

  • 训练更多数据：把训练样本上限从 2000 提高到 10000、20000 或完整训练集
  • 增加训练轮数：1 个 epoch 只能说明流程能跑通，不能代表模型充分训练
  • 加入 mini-batch：当前代码是单样本更新，速度和稳定性都有限
  • 做数据增强：随机裁剪、水平翻转、颜色扰动都能帮助 CIFAR-10 泛化
  • 加深模型：增加第二个卷积层或使用更大的通道数
  • 改用框架复现：如果目标是工程效率，可以把这份 C 代码改写成 PyTorch 版本

十一、这个项目的边界

这份 tiny CNN 更像教学实现，不是生产级图像分类器。它的边界很明确：

  • 纯 C 单样本训练，速度明显慢于现代深度学习框架
  • 没有 mini-batch、数据增强、正则化和学习率调度
  • 网络很小，准确率不会接近现代 CIFAR-10 模型
  • 主要目标是理解卷积网络的前向传播和反向传播

如果你已经读过手写数字 softmax 项目，可以把这篇看成下一层台阶：从线性分类器进入有局部感受野的图像模型。

十二、常见问题 FAQ

这个教程是 PyTorch CIFAR-10 教程吗？

不是。这篇文章故意使用 C 语言实现 CNN，目的是看清卷积、池化、softmax 和反向传播的底层计算。后续如果写 PyTorch 版本，会单独作为一篇工程实现文章。

为什么测试准确率不高？

因为这是一个很小的 CNN，而且示例只跑了 2000 条训练样本和 1 个 epoch。它的价值是教学和可解释，不是刷新 CIFAR-10 分数。

完整 CIFAR-10 数据在哪里？

站点不重复托管完整 CIFAR-10 数据包。请从 CIFAR-10 官方页面下载 binary version，再把解压后的 cifar-10-batches-bin 目录传给程序。

这篇文章和手写数字项目有什么关系？

手写数字数据结构文章 和 Softmax C 分类器文章 先讲线性分类；这篇文章继续讲图像分类里的局部感受野、卷积核和池化。

十三、配套资源和下一步阅读

可以在资源库中下载 C 源码、模型权重样例、预测样例 和 CNN 说明 PDF。完整 CIFAR-10 数据请从官方来源获取。

继续学习可以按这个顺序走：先补 神经网络基础，再看 C 语言 Softmax 分类器，然后进入这篇 CIFAR-10 CNN。所有配套文件也可以从 资源库 集中打开。

内部链接

相关阅读

补基础 手写数字实验记录：怎么把离线分类项目接进浏览器实验台

解释浏览器实验台为什么采用轻量预训练模型、它和离线 C 项目的关系，以及如何用样本浏览和手绘输入理解预测结果。

 继续下一篇 构建高熵流量防御：基于 Python 的连接层白噪声混淆与对抗性机器学习实践

以 mld_chaffing_v2.py 虚幻镜项目为例，讲解加密元数据泄漏、信息熵、分布距离、混淆矩阵、空闲窗口微脉冲和性能测试取舍。

 学习路线 AI 学习路线

按顺序阅读 AI 基础、机器学习、CNN、流量防御和 AI 安全内容。

 配套资源 资源库

下载文章配套代码、数据集、图示、模型文件和说明。

 专题页 学生 AI 项目

把手写数字、浏览器实验台和 CNN 项目串成作品集路线。

搜索问题

常见问题

这篇文章适合谁读？

这篇文章适合想用 进阶 难度理解“CIFAR-10 Tiny CNN 教程：用 C 语言实现小型卷积神经网络图像分类”的读者，预计阅读时间约 13 分钟，重点覆盖 C, CNN, CIFAR-10, Backpropagation。

读完后下一步应该看什么？

推荐下一步阅读“构建高熵流量防御：基于 Python 的连接层白噪声混淆与对抗性机器学习实践”，这样可以把当前知识点接到更完整的学习路线里。

这篇文章有没有可运行代码或配套资源？

有。页面里的运行说明、资源卡片和下载入口会指向复现实验所需的命令、数据、代码或说明文件。

这篇文章和整个网站的学习路线有什么关系？

它会通过文章上下文、学习路线、资源库和项目时间线连接到同一主题下的其他内容。

文章上下文

人工智能项目

从 AI、机器学习、训练评估、神经网络到 Python 小实战、手写数字识别、CIFAR-10 CNN、对抗性流量防御和 AI 安全攻防，按顺序建立基础。

难度: 进阶 阅读时间: 13 分钟
  • C
  • CNN
  • CIFAR-10
  • Backpropagation

继续下一步

继续：高熵流量防御实验
先补基础 打开资源
对应语言版本 CIFAR-10 Tiny CNN Tutorial in C: Build and Train a Small Convolutional Neural Network
可分享摘要 CIFAR-10 Tiny CNN 教程：用 C 语言实现小型卷积神经网络图像分类

用单文件 C 程序完成 CIFAR-10 小型 CNN 图像分类，讲解数据格式、网络结构、训练命令、loss、accuracy、常见错误和改进方向。

下载分享图 打开分享中心

配套资源

发表回复

项目时间线

已发布文章

  1. 人工智能基础学习路线：先理解什么是 AI、机器学习和深度学习 面向有编程基础的读者，梳理 AI、机器学习、深度学习的关系，并给出可执行的人工智能基础学习路线。
  2. 机器学习完整流程：从数据、特征到模型预测 从工程视角拆解机器学习完整流程：定义问题、理解数据、处理特征、训练模型、预测和评估。
  3. 机器学习算法怎么选：分类、回归、聚类和推荐场景对照表 用任务类型、数据规模、解释性和部署成本选择机器学习算法，覆盖逻辑回归、决策树、随机森林、K-means 和表格数据基线模型。
  4. 特征工程入门实战：用 scikit-learn 处理缺失值、类别变量和数值标准化 用 scikit-learn Pipeline 和 ColumnTransformer 完成特征工程，处理缺失值、类别变量、数值标准化，并避免数据泄漏。
  5. 模型训练与评估入门：损失函数、过拟合和准确率怎么理解 讲清楚模型训练中的参数、损失函数、梯度下降、过拟合，以及准确率、召回率、F1 等分类评估指标。
  6. 过拟合和欠拟合怎么解决：机器学习模型调优实战指南 用训练分数和验证分数判断过拟合与欠拟合，并通过模型复杂度、正则化、交叉验证和特征工程调整机器学习模型。
  7. 神经网络基础：从感知机到多层网络 从一个神经元讲起，解释权重、偏置、激活函数、前向传播、反向传播和典型神经网络训练循环。
  8. Python 人工智能小实战：用 scikit-learn 完成一个分类任务 使用 scikit-learn 内置教学数据集跑通一个分类任务，覆盖数据加载、拆分、标准化、训练、预测、评估和实验记录。
  9. 手写数字识别项目入门：先读懂 train.csv、test.csv 和标签结构 从项目文件结构入手，读懂手写数字训练集、测试集、标签列和 784 维像素输入，为后续 C 分类器和实验台打基础。
  10. 用 C 实现手写数字 Softmax 分类器：从 784 维像素到 submission.csv 结合当前项目源码，讲清楚 softmax 多分类、损失函数、梯度更新、混淆矩阵输出，以及 submission.csv 的生成过程。
  11. 手写数字实验记录：怎么把离线分类项目接进浏览器实验台 解释浏览器实验台为什么采用轻量预训练模型、它和离线 C 项目的关系，以及如何用样本浏览和手绘输入理解预测结果。
  12. CIFAR-10 Tiny CNN 教程：用 C 语言实现小型卷积神经网络图像分类 用单文件 C 程序完成 CIFAR-10 小型 CNN 图像分类，讲解数据格式、网络结构、训练命令、loss、accuracy、常见错误和改进方向。
  13. 构建高熵流量防御：基于 Python 的连接层白噪声混淆与对抗性机器学习实践 以 mld_chaffing_v2.py 虚幻镜项目为例，讲解加密元数据泄漏、信息熵、分布距离、混淆矩阵、空闲窗口微脉冲和性能测试取舍。
  14. AI 安全威胁建模：用 NIST AML、MITRE ATLAS 和 OWASP 建立攻防地图 用 NIST Adversarial ML、MITRE ATLAS 和 OWASP LLM Top 10 建立 AI 安全威胁模型，覆盖资产、攻击面、证据和剩余风险。
  15. 对抗样本与鲁棒评估：从 FGSM 公式到 scikit-learn 数字分类实验 从 FGSM 公式解释对抗样本，用 scikit-learn digits toy 实验评估 clean accuracy、perturbed accuracy 和扰动预算。
  16. 数据投毒与后门攻击防御：污染率、触发器和训练管线隔离 用 toy digits 实验解释数据投毒、后门触发器、attack success rate、数据来源审计和训练管线隔离。
  17. 模型隐私与模型窃取风险：成员推断、模型抽取和输出接口防护 用本地 toy 实验解释成员推断、模型抽取、membership AUC、surrogate fidelity、输出最小化和查询治理。
  18. LLM/RAG/Agent 安全：Prompt Injection、工具权限和边界感知防护 从 RAG 和 Agent 架构解释 prompt injection、外部数据降权、工具 allowlist、人工审批和边界感知防护。
  19. 人工智能 NLP 基础：词袋模型与 TF-IDF 详解 介绍自然语言处理中最基础的文本表示方法：词袋模型（Bag of Words）与 TF-IDF，理解它们的工作原理及优缺点。
  20. 循环神经网络 (RNN) 基础：处理序列数据的记忆力 理解 RNN 的核心思想、隐藏状态的作用，以及它在处理自然语言序列任务时的优势与挑战。
  21. Transformer 与自注意力机制：AI 领域的革命性突破 深入浅出地讲解 Transformer 架构的核心：自注意力机制（Self-Attention）及其运作方式。
  22. 用 C 从零实现 CIFAR-10 Tiny CNN：卷积、池化和反向传播 基于实际 cifar10_tiny_cnn.c 项目，讲解 CIFAR-10 数据格式、3x3 卷积、ReLU、最大池化、全连接层、softmax、反向传播和本地运行方式。

已公开资源

  1. Python AI 小实战代码说明 文章内包含可直接复制运行的 scikit-learn 分类脚本。
  2. digit_softmax_classifier.c 手写数字 softmax 分类器的 C 语言源码。
  3. train.csv.zip 手写数字训练集压缩包，包含 42000 条带标签样本。
  4. test.csv.zip 手写数字测试集压缩包，包含 28000 条待预测样本。
  5. sample_submission.csv 官方提交格式示例，可直接对照最终输出字段。
  6. submission.csv 当前 C 项目跑出的预测结果文件。
  7. digit-playground-model.json 浏览器实验台使用的轻量 softmax 演示模型与样本。
  8. digit-sample-grid.svg 从训练集中抽取的小型手写数字预览网格。
  9. 手写数字项目打包下载 包含源码、压缩数据、提交文件、浏览器模型和样本预览图。
  10. cifar10_tiny_cnn.c 源码 单文件 C 语言 tiny CNN，包含 CIFAR-10 读取、卷积、池化、softmax 和反向传播。
  11. model_weights.bin 样例权重 一次本地小样本运行生成的模型权重文件。
  12. test_predictions.csv 预测样例 CIFAR-10 tiny CNN 输出的测试预测样例。
  13. CNN 项目说明 PDF 配套 CNN 项目说明材料。
  14. 虚幻镜脱敏代码骨架 去除控制口令、真实节点和目标列表后的 mld_chaffing_v2.py 控制流程说明。
  15. 虚幻镜压力测试记录模板 用于记录 CPU、内存、线程峰值、微脉冲速率、延迟和错误数的脱敏 CSV 模板。
  16. 虚幻镜分类器评估模板 用于记录 TP、FN、FP、TN、accuracy、precision、recall、F1、ROC-AUC、熵和 JS 散度的 CSV 模板。
  17. 虚幻镜资源说明 说明公开资源为何只提供脱敏代码、测试模板和架构笔记。
  18. AI Security Lab 说明 说明 AI 安全攻防系列的安全边界、安装命令和 quick-run 实验。
  19. AI Security Lab 完整实验包 包含安全 toy scripts、结果 CSV、风险登记表、攻防矩阵和架构图。
  20. AI 安全风险登记表 面向 AI 威胁建模和上线评审的 CSV 风险登记模板。
  21. AI 攻防矩阵 把攻击面、toy demo、指标和防护控制映射到一张 CSV 表。
  22. AI Security Lab 架构图 展示威胁建模、鲁棒评估、数据完整性、模型隐私和 RAG 防护之间的关系。
  23. FGSM digits 鲁棒评估脚本 本地 digits 分类器的 FGSM-style 扰动和准确率下降实验。
  24. 数据投毒与后门 toy 脚本 用 digits 数据演示污染率、触发器和 attack success rate。
  25. 模型隐私与抽取 toy 脚本 输出 membership AUC、target accuracy、surrogate fidelity 和 surrogate accuracy。
  26. RAG prompt injection guard toy 脚本 用确定性 toy agent 演示外部数据降权和工具权限阻断。
  27. 深度学习专题分享图 用于分享深度学习 / CNN 专题页的 1200x630 SVG 图。
  28. 从零实现机器学习分享图 用于分享 K-means、Iris 和机器学习流程专题页的 1200x630 SVG 图。
  29. 学生 AI 项目分享图 用于分享手写数字、C 分类器和浏览器实验台专题页的 1200x630 SVG 图。
  30. CNN 卷积扫描动画 Remotion 生成的 8 秒短动画，展示 3x3 卷积核如何扫描输入并形成特征图。

当前学习路线

  1. 人工智能基础学习路线 学习路线节点
  2. 机器学习完整流程 学习路线节点
  3. 机器学习算法怎么选 学习路线节点
  4. 特征工程入门实战 学习路线节点
  5. 模型训练与评估入门 学习路线节点
  6. 过拟合和欠拟合怎么解决 学习路线节点
  7. 神经网络基础 学习路线节点
  8. Transformer 自注意力机制 学习路线节点
  9. LLM 可视化教学台 学习路线节点
  10. Python 人工智能小实战 学习路线节点
  11. 手写数字数据结构入门 学习路线节点
  12. 用 C 实现手写数字 Softmax 分类器 学习路线节点
  13. 手写数字实验台说明 学习路线节点
  14. CIFAR-10 Tiny CNN 教程 学习路线节点
  15. 高熵流量防御实验 学习路线节点
  16. AI 安全威胁建模 学习路线节点
  17. 对抗样本与鲁棒评估 学习路线节点
  18. 数据投毒与后门防御 学习路线节点
  19. 模型隐私与模型抽取防护 学习路线节点
  20. LLM/RAG/Agent 安全 学习路线节点

下一步计划

  1. 补充更多图像分类和误差分析案例
  2. 把常见指标整理成速查表
  3. 继续补充 AI 安全防御实验记录