← 返回列表

企业AI治理三步走(Google AI Protection)

聚合站 SecWiki技术 作者 模安局 发布 2025年5月12日 00:44 入库 2026-11-18T04:30:48

Google的AI Protection方案,简明扼要地概括了企业AI治理要分”三步走“。

▏AI资产扫描(Discover AI inventory)

企业治理AI风险的第一步,是要对局域网内的所有AI相关资产(模型、程序、数据)有一个全面的了解,包括其使用情况和相互之间的关系。尤其是敏感数据的管理,被视为是企业AI风险治理最重要的一部分。

Google的敏感数据保护(DSP)方案提供敏感数据自动发现与分类、自动加密屏蔽、去标识化等能力。

用户只需要指定要检测的数据位置和敏感数据类型,DSP即会启动检查作业,返回检测结果。

除了数据发现之外,SDP 还能够根据识别的敏感数据类型对数据进行加密和屏蔽。

SDP还支持将敏感数据去识别化,这样就可以在不泄露原始内容的情况下,训练模型了解数据类型和相关上下文。

SDP内置了200多种通用的敏感数据类型,并支持自定义配置敏感数据类型。

内置敏感数据类型包括姓名、电子邮件地址、电话号码、身份证号码和信用卡号等,每个类型都有一个对应的检测器。

需要注意的是,不同国家地区的敏感数据类型可能稍有不同。例如中国的是身份证和护照,而澳大利亚的是驾驶证和护照,巴西的是自然人注册号。

自定义敏感数据检测器包括字典检测器和正则检测器,分别是通过自定义关键词匹配和正则表达式匹配要识别的敏感数据类型。更复杂的,还可以通过添加规则来排出不需要的结果、提高识别准确率。

▏AI服务防护(Secure AI assets)

AI风险治理的第二步,是采取安全措施防止AI服务被即时注入、越狱、恶意 URL 和攻击性内容侵犯,导致输出有害内容、隐私数据泄漏等风险的发生。

Google提出模型盔甲方案(Model Armor),在AI服务的输入和输出环节对内容进行安全检测,尤其是在LLM response环节,合规内容正常返回给用户,不合规内容需要经过安全改写后返回给用户。

除此之外,Google的Advanced API Security 还会持续监控AI服务的 API,以保护它们免受安全威胁(包括来自恶意客户端和滥用行为的攻击)。

Advanced API Security使用流程:

搜集API流量数据

分析API流量数据

展示分析结果

执行管控动作

▏AI威胁管理(Manage AI threats)

最后,Google将Security Command Center 中的检测器用于发现 AI 工作负载的初始访问尝试、权限提升和持久化攻击,并将安全情报检测器融入AI Protection中,帮助识别和管理诸如基础模型劫持之类的运行时威胁。

这部分工作还没有完全对外发布,但从目前的介绍内容来看,主要是针对AI运行环境中的漏洞进行扫描,防止恶意用户利用漏洞对模型服务进行攻击。

原文链接:https://mp.weixin.qq.com/s/5x-KyRH2Bi0Mh50trruIRA