AI 安全攻防专题

这个专题讨论 AI 系统在数据、训练、推理、工具调用和部署环节中的安全风险，重点放在防御性理解和工程边界。内容覆盖威胁建模、对抗样本、数据投毒、后门、模型隐私、模型抽取、RAG/Agent 安全和高熵流量防御等方向。

本站不会把安全主题写成只追求攻击效果的操作手册。每篇文章都应说明实验前提、授权边界、可复现环境、防护思路和误用风险。AI 安全内容的目标是帮助读者识别系统弱点、设计更好的隔离和监控，而不是攻击第三方系统或绕过合法控制。

为什么 AI 安全需要单独学习

传统 Web 安全通常围绕请求、权限、输入校验和基础设施展开，而 AI 系统还会引入数据集污染、模型行为不确定、提示注入、工具权限外溢、嵌入检索误召回和训练/推理供应链问题。即使一个 API 本身没有明显漏洞，模型也可能因为上下文、提示、检索结果或输出策略产生安全风险。

因此，学习 AI 安全需要同时看模型、数据、应用和运维。本站会尽量把抽象风险落到具体防线：数据来源如何审查，训练集如何隔离，预测接口如何限流，Agent 工具如何授权，日志应该记录哪些事件，评估集如何覆盖异常输入。

阅读和复现实验边界

• 所有示例默认用于本地实验、教育和防御性研究。
• 不要把示例用于未授权系统、真实用户数据或第三方服务。
• 对抗样本、投毒和提示注入实验应使用可控数据集和隔离环境。
• 模型隐私与抽取讨论应重点关注风险评估、监控和接口控制。
• 部署前需要补充访问控制、审计日志、速率限制和回滚方案。

如何把专题用于工程实践

如果你正在设计一个 AI 应用，可以先从威胁建模文章入手，把资产、入口、信任边界和失败影响列出来。随后根据系统形态选择对应内容：数据管线关注投毒与后门，公开预测接口关注模型隐私和抽取，RAG/Agent 应用关注提示注入、工具权限和检索边界。

真正有效的安全改进通常不是一个单独技巧，而是一组控制的组合：输入过滤、权限最小化、上下文隔离、输出审查、异常监控、人工复核和事故响应。本站后续会继续把这些控制和可运行小实验连接起来。

评审清单

一次有用的 AI 安全评审应该先界定范围：系统要保护什么资产，攻击者被假设具备什么能力，输入数据来自哪里，模型输出会影响什么决策，失败指标如何测量，什么控制措施算作缓解。没有这些范围，一个对抗样本、投毒样本、隐私测试或提示注入演示可能听起来很严重，却无法说明真实风险大小。

因此本站会尽量把 AI 安全内容分成三层：教育用 toy experiment、一般安全概念、需要独立验证的生产控制。一个投毒 demo 可以解释标签如何影响训练，但不能直接代表真实数据管线风险；一个 RAG 提示注入实验可以解释信任边界，但不能替代访问控制、工具白名单、监控和事故响应。

演示实验的限制

本站的 AI 安全演示会有意保持受限：本地脚本、内置数据集、合成样本和防御性语言。这样读者可以研究失败模式，而不需要接触第三方目标、真实用户数据或可操作攻击流程。这种限制不是削弱内容，而是让实验更可复现、更安全，也更适合作为学术和工程讨论材料。

读者也不应过度解读 toy demo。小实验里的攻击成功不等于真实世界广泛可利用，小 notebook 里的缓解有效也不等于生产安全。真正持久的学习价值是方法：定义边界，测量失败，记录假设，选择可以再次验证的控制。

AI 安全评审矩阵