原创 rayh4c 2025-11-18 12:46 北京
安全保证不是限制 AI 创新,而是确保 AI 可持续应用的唯一前提。
随着生成式 AI 深入企业核心业务,从知识库检索到流程自动化,再到具备执行能力的 AI 代理(Agent),技术的敏捷性与风险也呈指数级增长。对多数企业而言,AI 的业务价值固然巨大,但其安全隐患同样正在规模化显现:
- • 模型输出不可控,可能导致错误决策;
- • 数据投毒与提示注入让攻击者能“操控模型”;
- • 代理可执行实际操作,带来系统级风险;
- • 模型权重泄露等同于核心知识产权外流;
- • 大量开源依赖引入供应链风险;
Google 最新发布的《Security Assurance in the Age of Generative AI》白皮书提出,企业必须将安全保证(Security Assurance)视为建设可控 AI 系统的核心能力,而非事后补丁。
本文将围绕 B 端企业落地角度拆解这一框架,并给出可操作的实施路径。
与传统软件相比,AI 的风险结构发生根本性变化:
相同输入无法保证相同输出,传统测试方法不足以覆盖所有行为。
包括数据、权重、推理接口、工具链、模型代理、第三方 MCP 服务等。
智能体(Agent)能发指令、发邮件、写代码、访问第三方 API,这些意味着攻击可直接转化为实际行动。
训练数据与模型权重不再是静态资产,而是决定行为的逻辑模块。
对于正在部署 AI 工作流、RPA、智能客服、知识库、推荐系统等产品的企业而言,安全能力不再是外围配置,而是业务连续性、品牌责任、法律合规的基础。
企业使用 AI 的阶段越深,“安全保证”越成为业务底层能力。
白皮书提出,AI 安全保证可基于传统安全体系的四大支柱,但要进行深度扩展。
企业的漏洞管理不能只停留在系统与应用层:
必须覆盖:
- • 训练数据源
- • 数据标注与过滤工具
- • 数据流水线
- • 模型格式与权重
- • 模型推理环境
- • 第三方框架(PyTorch、TensorFlow 等)
特别是数据与模型属于“新型代码”,必须纳入安全生命周期。
检测与响应 在 AI 场景下必须监控更多维度:
- • 大规模推理流量(模型窃取探测)
- • 越权调用、绕过安全策略
- • prompt 注入尝试
- • 代理发起的可疑操作
- • 模型输出模式异常(如逐渐偏向攻击者意图)
企业需要建立“AI 行为基线”,类似“用户行为分析(UEBA)”,但应用于模型层。
AI 已成为攻击者的催化器。
安全团队需监控:
- • 利用大模型进行自动化攻击
- • 第三方开源模型格式中的恶意代码
- • Agent-to-Agent 攻击链
- • 针对模型供应链的攻击
这是企业以往安全体系中未曾面对的“AI 原生威胁”。
AI 红队不只在表面停留,而是深入攻击系统内部:
- • 模型输出
- • 推理接口
- • 智能体工具链
- • 第三方服务(如 MCP servers)
其目标是模拟真实攻击者的行为,以发现系统性风险。
四大安全能力彼此协同:
威胁情报 → 红队 → 漏洞管理 → 检测响应 → 再反馈
其核心不是“修一次发现的问题就完成”,而是:
AI 安全必须是长周期、动态演进的体系。
白皮书将 AI 安全的关键资产分为四类,企业必须全部纳入治理范围。
训练数据的风险取决于三个维度:
- • 来源(可信 vs 公共抓取)
- • 生产过程(标注、过滤是否可审计)
- • 链路安全(谁能访问,谁能修改)
Google 建议企业建立:
- • 数据资产清单
- • 数据溯源体系
- • 敏感数据访问控制
- • 数据管道的红队验证
数据投毒未来将成为企业面临的最主要 AI 风险之一。
模型权重一旦泄露:
- • 可被竞争对手克隆
- • 可被攻击者篡改引导危害行为
- • 甚至可通过恶意模型格式进行代码注入
Google 推荐:
- • 使用 Safetensors 等安全格式
- • 推理前验证模型签名(Sigstore)
- • 限制模型文件的访问权限
- • 隔离推理环境、禁止不必要系统调用
这是 B 端企业最常被忽视的安全要点。
AI 场景下供应链风险包括:
- • PyTorch/TensorFlow 依赖漏洞
- • 推理框架的远程代码执行
- • 推理容器被逃逸
- • GPU 集群被用于加密挖矿
企业建议采取:
- • 完整的依赖清单管理(SBOM)
- • 供应链漏洞监控
- • 集群访问权限控制
- • 模型推理沙箱
- • 强制 API 速率限制(防止模型窃取)
供应链风险将是未来 AI 安全的关键战场之一。
AI Agent 让模型不仅“说话”,还能“行动”,包括:
- • 文件操作
- • 邮件发送
- • 调用 API
- • 执行代码
- • 对接 MCP 第三方工具
这带来前所未有的攻击可能:
- • 隐藏在内容中的 prompt 注入可触发代理执行危险动作
- • 被操控后可造成链式跨系统攻击
- • 第三方 MCP server 被攻陷后可成为跳板
白皮书建议企业:
- • 执行端到端集成红队测试
- • 对第三方工具进行 allowlist 管理
- • 对所有工具描述与输出做输入净化
- • 强身份认证(尤其是人机混合身份)
- • 将智能体放入严格沙箱隔离区运行
对于自动化与流程机器人项目而言,这是必须重点关注的区域。
结合 Google 实践,可提炼出适合 B 端企业的落地框架。
涵盖数据、模型、推理接口、工具链、第三方服务。
基于 SAIF(Google 发布的一套面向企业与开发者的 AI 安全框架)、行业攻击趋势、内部业务场景。
包括模型行为、推理流量、安全策略、异常判定。
定期进行模型红队测试、prompt 注入演练、Agent 流程攻击模拟。
管理依赖、验证权重、控制推理环境。
监控模型使用异常、API 滥用、智能体异常行为。
对于 B 端企业而言,AI 不是功能,而是未来业务的运行系统。
AI 安全也不再是上线前的一个检查项,而是必须长期投入的“底层能力建设”。
正如 Google 在白皮书中强调:
企业越早建立 AI 安全保证体系,越能在未来的行业竞争中获得决定性的基础优势。