作者:Tina,校稿:王炜、陈世武、杨渝
一
主要洞察
1.根据VentureRadar、Menlo Ventures等海外机构调研,目前在GenAI安全产品和解决方案方面,海外大概一共有30多家初创企业专注在这一方向,其中大部分是以色列和美国公司[1]。
[1]Mapping Israel's GenAI security pioneers | Ctech (calcalistech.com),Top GenAI Security companies | VentureRadar,Security for AI: The New Wave of Startups Racing to Secure the AI Stack - Menlo Ventures (menlovc.com)
2.产品领域覆盖广泛——包括AI防火墙[2]、针对大模型的实时监测与响应、AI治理、人工智能透明度与可解释性监控(AI Observability)、自动化红队测试、数据防泄漏(DLP)、数据隐私保护等多个方向,与欧美既有的IT软件生态和数据隐私监管政策环境有深度耦合,仍然沿袭了欧美产品工具化程度高、细分方向多的特点。
[2]此处的AI防火墙(AI Firewall)是指Firewalls for AI,用于监视和控制与AI模型的交互,防止未经授权的访问、对抗性攻击和数据中毒。AI防火墙还确保输入到AI模型的数据是干净的,并且没有可能导致偏见或错误结果的恶意内容。AI防火墙可能包括运行在现有硬件上的软件程序,或者作为云服务的一部分提供,而不一定是独立的硬件设备。
3.大多是资深安全人士创立的初创公司,安全大厂更多是利用人工智能升级原有的安全产品及能力,直接下场为大模型安全专门进行产品研发的大厂还比较少。
4.这些初创公司大多成立于2020-2023年之间,是跟随近两年走红的上游AI公司一起成长起来的企业;其产品功能也主要依托于大模型生态衍生出的安全需求,预计随着未来上游人工智能大模型领域的优胜劣汰,GenAI安全产品也将面临重新洗牌。
二
正文
生成式人工智能(Generative AI,简称“GenAI”)无疑是当前的热门话题,而这种热度的形成是有坚实的理由的。GenAI不仅能够激发新的功能,还能有效利用那些被隔离的专有数据,更重要的是,它能够提升整个社会的生产力,其前景显而易见。
然而,企业也必须正视一个同样紧迫的挑战:网络安全风险。每一次技术的进步都会带来新的挑战,包括潜在的漏洞、风险以及需要深思熟虑的问题。这一点在云计算的发展历程中表现得就尤为明显。云计算的兴起不仅改变了我们处理数据的方式,还催生了一系列全新的网络安全领域,例如安全访问服务边缘(如Netskope、Zscaler)、云安全态势管理(如Wiz、Orca、Palo Alto
Networks)以及身份和访问管理(如Okta、Transmit
Security)。这些新兴领域的发展,正是技术进步带来的“赠品”。
GenAI也不例外,海外企业现在很担心人工智能的安全。HiddenLayer的首份《人工智能威胁态势报告》[3]显示,89%的IT安全领导者担心与集成第三方人工智能工具和模型相关的安全漏洞,而75%的人认为这些第三方人工智能集成带来的风险比现有威胁更大。在思科最近的一项调查[4]中,超过50%的受访者表示,安全问题(特别是围绕数据隐私和数据防泄漏)是他们在采用人工智能大模型时面临的最大挑战。
[3]fggg (hubspotusercontent-na1.net)
[4]https://www.ciscoinvestments.com/solving-2024-rubiks-cube-ai-cybersecurity
其中,GenAI所属的人工智能系统在创建方面尚不成熟,而软件则有更多成熟实践。软件行业经过多年发展,已经形成一套相对成熟的范式——包括设计、开发、测试和维护等多方面;而人工智能系统尤其是大模型,尽管在某些领域表现出色,但在创建和应用过程中仍存在许多不确定性和风险,这些风险既包括LLM本身固有风险和威胁,也包括非人工智能的固有风险和威胁。
(图:LLM面临的安全威胁)
随着GenAI应用的增加,一系列新的挑战也随之出现,特别是包括数据中毒、提示注入和LLM DoS在内的新攻击策略正在被用于各种恶意行为。在OWASP[5]去年发布的《OWASP Top 10 for LLM(LLM十大风险列表)》中,介绍了更广泛的LLM相关风险。
[5]开放式Web应用程序安全项目是一个在线社区,在Web应用安全领域提供免费的文章、方法、文档、工具和技术。
(图:OWASP发布的主要的大语言模型应用风险)
对于网络安全来说,“有矛必有盾,有刃自生鞘”早就被验证多次。目前,海外已出现许多初创企业针对GenAI安全问题开发相应的解决方案,在GenAI网络安全的不同层面开展业务,具体参见Geodesic
Capital发布的下面这张人工智能安全产业图谱。
(图:Geodesic Capital发布的“GenAI Cybersecurity Market Map”)
该图谱大致勾勒了目前海外GenAI安全创新方向的“4+1”分布结构——模型开发,模型运行,大模型的评估、可观测性和监控能力,大模型的治理、合规和防护,以及Agent这五大方向。不过由于目前市场上的产品功能覆盖广泛,上图中的很多供应商事实上可能横跨不止一个领域。虽然公司可能会从某一细分领域起步进入市场(例如,从构建AI防火墙开始),但它们正在迅速扩展其他功能,以求横跨整个市场版图(例如,扩展到DLP、漏洞扫描、可观察性等)。
随着企业客户对GenAI一站式安全方案的需求增加,供应商们将不断整合服务,使企业能够在单一平台管理所有与GenAI相关的安全需求。当然,这种整合将持续非常长的时间,因为上游基础模型公司如Anthropic、OpenAI、Google等都保持着很快的创新速度,企业客户对大模型本身的应用也还处于“正在进行时”,GenAI安全解决方案的整合将随着上游大模型应用的程度加深,而处于不断调整中。事实上这种整合已经初现端倪,例如,大模型集中控制平台Kindo收购了开源安全项目WhiteRabbitNeo,模型扫描解决方案公司Protect AI收购了Rebuff、Recon、Laiyer ai、SydeLabs等,都体现了这种GenAI安全的产业内整合。
(图:目前海外GenAI安全产品主要的研发创新方向)
从海外GenAI安全创新的研发方向来看,首先是安全层(Security Layer)的两个核心重点领域:模型开发和模型运行。
模型开发是GenAI网络安全体系的最上游组件,它能够在模型部署前预防潜在风险。这一环节涵盖了多种安全措施,如渗透测试、模型审查、漏洞分析、数据校验与保护(以避免数据污染)、供应链安全管理等,以及对隐蔽人工智能活动的识别。这些措施共同加强了模型的防护,确保了底层数据的准确性和完整性。
例如Protect AI、HiddenLayer等供应商,提供了包括模型全面扫描与风险侦测在内的多种功能,以维护模型在运行前的安全性。确保模型的前期安全至关重要,因为任何漏洞或损害都会影响到所有下游应用。
在模型运行领域,例如Robust
Intelligence和Lakera等企业,致力于确保模型及其输出在生产环节的安全,无论是应用于内部还是外部场景。它们提供的关键服务包括AI防火墙——这一技术在模型的输入端和输出端都发挥作用,以及对安全威胁的实时监测与响应。LLM防火墙特别擅长防御即时注入攻击,它能够在请求触及模型之前进行有效过滤或直接拒绝,如有必要还能作为终极防护措施,拦截不当的模型反馈。
而从辅助层来看,大型模型的评估、可观测性和监控能力对于企业来说至关重要,它们确保了GenAI模型能如期稳定运行,并随时间推移持续优化。鉴于GenAI的非确定性(相同输入可能产生不同输出),这一点尤为重要。而且由于这些模型的“黑盒”特质,排除故障的难度进一步加大。这一领域的厂商正在开发专注于模型评估和大规模可观测性的平台。企业客户必须对模型的正常运行时间和性能心中有数,这样才能降低模型漂移和幻觉的风险,并确保高保真输出以及内容符合监管标准和政策。
大模型的治理、合规和防护是辅助层另外一个重要方面:进行创新的初创企业正在应对各种挑战,它们的目标主要集中在道德伦理、合规、透明度和政策监管几个方面。这涵盖了多种数据隐私保护策略,如同态加密、差分隐私,以及利用合成数据进行个人身份信息(PII)的编辑处理。此外,这些企业还专注于数据防泄漏(DLP),以防止敏感信息泄露;实施基于角色的访问控制策略,包括角色认证和授权(RAG),确保符合国际和本地的法规标准。
“+1”指的是Agent,这一创新领域正在获得越来越多的关注。在“用人工智能对抗人工智能”的安全理念推动下,利用人工智能技术来解决其他人工智能系统可能遇到的安全问题正在走进安全行业的视野。Agent工作流程可用于执行日益复杂的任务,例如,Dropzone AI正在开发AI安全运营分析师,它们可以自主分流现在让人类分析师手忙脚乱的大量警报。
基于上述产业图谱,并结合大量产业调研情况,网空观察特别遴选出一部分海外专注在GenAI安全方向的创新公司,希望为国内网络安全从业者提供有价值的信息。如果您希望对本文中介绍的海外GenAI安全企业做进一步了解,欢迎在公众号后台留言联系我们!
CalypsoAI
CalypsoAI由国防部、DARPA和NASA的退伍军人在2018年创立,创始人Neil
Serebryany拥有国家安全专家经验,曾在白宫和五角大楼工作,他的合伙人也大多具备美国国防和情报界背景。近期该公司正在试图研发针对政府使用的人工智能模型(尤其是在国家安全背景下)的安全解决方案。
目前CalypsoAI最主要的产品是CalypsoAI Moderator,这是一款针对大型语言模型的综合安全解决方案。CalypsoAI Moderator可用于多种LLM平台,可在60分钟内快速部署到实时环境中,使企业能够迅速保护其LLM应用程序的安全。由于CalypsoAI不会处理或存储组织的数据,因此它能确保组织的数据不会离开其生态系统。
(图:Calypso AI平台简介)
主要功能:
数据防泄漏:该功能可筛查代码和知识产权等敏感数据,确保此类信息在离开组织之前被阻止,这对防止未经授权共享专有信息至关重要;
全面可审计性:CalypsoAI Moderator提供所有交互的全面记录,包括提示内容、发件人详情和时间戳,它提高了LLM使用的透明度和问责制;
恶意代码检测:该解决方案可以识别和阻止恶意软件,从而保护组织的生态系统免受通过LLM响应的潜在渗透;
易于使用的界面:CalypsoAI Moderator设计为用户友好型,可轻松集成到现有工作流程中,在不影响安全性的情况下增强用户体验。
Nightfall AI
Nightfall
AI是领先的云原生数据安全平台,创始人Isaac Madan本身在创立Nightfall AI之前就是网络安全领域的投资人,专注于SaaS、AI和安全领域。
Nightfall
AI的主要功能是提供云数据防泄漏(DLP)服务,专注于保护GenAI工具、SaaS应用程序和自定义应用程序中的数据。它通过以下方式实现这一目标——
跨平台保护:Nightfall AI能够保护包括ChatGPT、Slack、GitHub、Confluence、Google Drive在内的多种应用程序中的数据;
多种数据类型防护:它能够防护个人身份信息(PII)、受保护健康信息(PHI)、支付卡信息(PCI)以及其他机密数据和密钥;
易于部署:通过Chrome浏览器插件或API集成,Nightfall
AI可以在几分钟内完成安装并开始工作;
实时监控与自动修复:提供实时警报和自动修复操作,简化安全工作量;
预建检测模板:使用预建的检测模板,方便用户快速设置并开始保护数据;
对抗性攻击防护:能够检测并防止包括提示注入、“越狱”、数据中毒等在内的对抗性攻击;
对话内容防护:为对话内容设置防护措施,包括对话题、代码、语言、URL等进行防护;
功能失调对话识别:通过检查LLM响应、用户输入情绪、令牌限制等来识别并处理功能失调的对话。
Nightfall AI通过这些功能,帮助用户在云环境中保持数据的安全和合规性,同时减轻安全团队的工作负担。
S 全屏播放 full_screen_mv已关注
关注
重播分享点赞后 加className selected赞 随便看看
有拓展内容广告内容
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏天融信网空观察已关注
分享视频
,时长03:19
0/0
00:00/03:19
切换到横屏模式
继续播放
进度条,百分之0
播放
00:00
/03:19
03:19
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
您的浏览器不支持 video 标签
继续观看
AI技术的安全博弈:大模型安全海外前沿实践
观看更多
转载
,
AI技术的安全博弈:大模型安全海外前沿实践
天融信网空观察已关注
分享点赞推荐在看
已同步到看一看写下你的评论
E 视频播放器S 视频社交视频详情
(图:Nightfall AI产品Demo视频)
Robust Intelligence
Robust Intelligence是端到端人工智能风险管理领域的领导者,保护企业免受安全、道德和运营风险的影响。该公司的平台通过AI防火墙实时保护模型,并通过持续验证在整个人工智能生命周期内自动测试和合规性。该公司得到了红杉资本(Sequoia Capital)和老虎环球(Tiger Global)的支持,并得到了ADP、摩根大通(JPMorgan Chase)、Expedia、德勤(Deloitte)、思科(Cisco)和美国国防部等领先企业/机构的信赖。
Robust Intelligence Platform是专注于AI安全和风险管理的产品系列,帮助满足AI安全和安保标准,如NIST、MITRE ATLAS和OWASP LLM Top10,其核心组件包括——
- AI Validation
确保模型在其整个生命周期中对各种风险具有鲁棒性;
功能包括全面的预部署测试、自定义测试以及实时的持续监控,以识别模型漂移和异常输入等问题。
- AI Protection
保护模型免受安全威胁和运营故障的影响;
功能包括对抗性攻击防御,通过持续扫描来保护模型免受黑盒对抗性攻击,以及确保模型在数据管道问题或数据损坏情况下仍能按预期执行的操作弹性。
- AI Firewall
防止并减轻针对生成性AI应用的特定风险;
功能包括实时防御,为生产中的模型提供保护,通过阻止可疑活动并确保符合安全标准。
此外,Robust Intelligence Platform还提供以下解决方案——
鲁棒性和可靠性:增强AI模型以抵御对抗性攻击、数据中毒和模型提取攻击等威胁;
全面测试:包括压力测试、漏洞评估和持续监控,帮助识别并减轻AI模型部署前的弱点;
实时监控和事件响应:智能系统实时监控AI运行,及时响应异常和安全事件;
自动威胁缓解:使用专有算法和威胁情报管道识别和阻止AI漏洞;
输入/输出保护:即时保护模型输入和输出,防止安全漏洞;
模型行为验证:确保模型按预期运行,不产生意外或有害输出;
红队演习:通过模拟攻击发现模型弱点;
审计和监视:持续审计和监视AI活动,检测和响应安全问题;
威胁情报:利用威胁情报平台保持保护措施的时效性。
Private AI
Private AI专注于AI驱动的隐私保护和数据匿名化解决方案,其主要业务是识别、删除和替换各种类型数据中的个人身份识别信息(PII)。公司两位创始人Patricia Thaine、Pieter Luitjens都是隐私保护和机器学习方面的专家,且都与多伦多大学关系密切。
Private AI的主要产品包括AI治理平台和PrivateGPT。
(图:Private AI技术能力简介)
1.AI 治理平台
准确识别、匿名化和替换50多种PII实体;
支持52种语言;
可在本地或任何云环境中部署;
支持10多种文件类型,包括文本、PDF、图像和音频;
帮助遵守全球隐私法规,如GDPR、CPRA、HIPAA;
声称错误率低于其他替代品的一半;
提供可定制的功能以满足特定需求。
2.PrivateGPT
PrivateGPT则是一款基于ChatGPT的隐私保护解决方案。企业利用PrivateGPT可轻松筛查并剔除可能引发隐私泄露风险的个人信息,使用PrivateGPT,企业能够——
在符合GDPR、CPRA等数据保护法规的前提下,提供同样创新的LLM网页用户界面体验;
通过清除宗教信仰、地理位置等敏感信息,降低ChatGPT输出中的偏见;
通过PrivateGPT的合规性和报告仪表板,赋予数据保护负责人和信息安全主管更大的监管能力;
实时监控员工向ChatGPT提供的个人信息种类和数量。
(图:PrivateGPT 工作原理)
WhyLabs LLM Security
WhyLabs由Alyssa
Simpson Rochwerger和Andy Dang共同创立,两人都在人工智能和数据科学领域拥有丰富的经验。作为一个AI可观测性平台,WhyLabs专注于监控和确保包括大型语言模型(LLM)在内的人工智能系统的安全性、公平性和可靠性。
WhyLabs
LLM Security为确保LLM部署的安全性和可靠性提供了全面的解决方案,尤其是在生产环境中。它结合了可观测性工具和保护机制,以保护LLM免受各种安全威胁和漏洞的侵害。其主要产品WhyLabs Secure保护AI应用程序免受不良行为者、滥用、误用和幻觉的侵害。
(图:WhyLabs Secure:先进的GenAI安全防护工具)
WhyLabs
Secure的主要功能包括——
防止数据泄露:它可以检测到旨在泄露机密数据的定向攻击。这包括评估这些攻击的提示,阻止包含个人身份信息(PII)的响应,这对生产型LLM至关重要;
提示注入监控:WhyLabs监控旨在混淆系统以提供有害输出的恶意提示。这种监控对于保持一致和安全的用户体验至关重要;
错误信息预防:该平台可帮助识别和管理由LLM生成的内容,这些内容可能是错误信息或因误判而产生的不当内容。
(图:WhyLabs SaaS 平台架构)
Adversa
Adversa AI是Gartner认可的AI和LLM安全供应商,也是自动化AI Red Teaming领域的全球领导者,客户遍及美国、欧盟、中东和亚洲。Adversa AI主要服务于金融、保险、汽车、生物识别、身份验证、互联网、媒体、市场、监控、工业4.0、智慧城市和智能家居等行业。该公司成立于2019年,总部位于以色列特拉维夫,创始团队包括曾在以色列8200部队工作过的成员。
Adversa AI提供的一项核心服务是Adversa
AI Red Teaming,旨在通过模拟攻击者的行为来评估和提高人工智能系统的安全性。以下是其主要功能——
威胁建模:确定和分析可能针对AI系统的攻击者及其攻击策略,帮助组织理解面临的具体威胁;
对抗性测试:使用先进的技术和方法对AI系统进行压力测试,模拟各种攻击场景,包括数据污染、模型窃取、后门攻击等;
安全漏洞评估:识别AI系统中的潜在安全漏洞,并评估这些漏洞可能带来的风险;
攻击模拟:模拟真实世界的攻击,测试AI系统的防御能力,确保系统能够抵御复杂的攻击;
持续监控和评估:提供持续的安全监控服务,及时发现新的安全威胁,并定期对AI系统的安全性进行评估。
Adversa AI Red Teaming通过这些功能,帮助组织全面了解和提升其AI系统的安全性,降低被攻击的风险。
(图:Adversa AI Experts 开发并于去年发布的 Tom and Jerry Jailbreak)
Lasso Security
Lasso
Security也是一家以色列公司,由在以色列国防军8200部队服役的专业安全从业人员转型创立。目前Lasso
Security提供的产品主要有两款:GenAI Chatbots Security和Code Assistants Security。
Lasso
for GenAI Chatbots的核心功能有——
全面控制:Lasso提供了对组织内GenAI聊天机器人、应用程序和工具的全面管理与控制;
数据保护:通过Always-on
Shadow LLM™、实时监控和定制策略执行,保护数据不被未授权访问或泄露,包括敏感信息、知识产权、个人身份信息(PII)、知识产权(IP)等。
(图:Lasso for GenAI
Chatbots界面)
安全合规性:确保GenAI的使用符合AI合规性要求,包括隐私和数据保护、应用安全、供应链漏洞检测、内容异常检测和幻觉检测;
输入提示与输出完成:监控输入提示和输出完成,以确保GenAI交互的安全性;
实时响应和自动补救:提供实时响应和自动化缓解措施,包括实时安全警报、仪表板日志记录,以及风险分析;
(图:Lasso for GenAI
Chatbots界面)
简单的部署、集成:浏览器扩展易于安装,在5分钟内快速部署浏览器扩展,支持在线GenAI使用监控;在任何需要的站点上快速部署浏览器扩展,开始监控只需轻点按钮,即可使用在线 GenAI。
Lasso
for Code Assistants是一款智能IDE插件,专为提升代码安全性而设计。它集成到客户的开发环境中,监控数据流动、自动遮蔽敏感信息(如PII、IP等),以保护客户的专有代码库。
(图:Lasso for Code Assistants主要的产品功能)
Lasso for Code Assistants的其他功能还包括——
供应链漏洞防护:检测和防止供应链中的安全漏洞;
幻觉检测:识别和防止由GenAI产生的不当或错误代码;
输入输出处理:保护不安全的输入和输出处理,防止引入不安全的代码;
保护专有代码库:在代码生成和辅助任务期间保护敏感信息;
实时数据遮蔽:在开发者输入时,Lasso即时遮蔽敏感元素;
监控每个数据移动:快速监控组织代码环境中的危险输入和未授权输出。
Giskard
Giskard是一家法国初创公司,专注于为LLM开发开源测试框架。Giskard的产品旨在提高AI模型的测试效率,帮助开发者遵守即将在欧盟通过的AI法案(AI Act)以及其他国家实施的法规。公司目前拥有20名员工,下一步该公司计划扩大团队规模,成为市场上最佳的LLM防病毒解决方案。
- Giskard开源测试框架(Open-Source)
允许数据科学家识别影响LLM性能、公平性和安全性的漏洞;
可以直接集成到Python笔记本或集成开发环境(IDE)中;
支持扫描模型是否存在幻觉和数据泄露等问题;
提供机器学习模型的开源测试框架。
- Giskard LLM评估中心(LLM Evaluation Hub)
是一个集中化的平台,用于管理LLM项目的质量和安全性;
自动创建特定于业务的性能和对抗性测试;
提供交互式LLM代理测试,以模拟生产环境中的查询;
支持持续验证,以加速生产部署;
允许使用生产数据创建新测试并增强评估数据集;
提供具有访问控制的安全协作环境。
- Giskard AI合规平台(AI Compliance Platform)
协作跟踪所有AI项目的合规性水平;
确保在不断变化的环境中满足监管要求;
通过分配任务和支持安全协作来简化AI合规性;
帮助将欧盟AI法案转化为可操作的政策,以确保AI项目符合规定;
提供持续跟踪AI合规性,并提供缓解风险的专属建议;
自动化证据检索和文档编制,以满足合规性。
(图:Giskard对某GenAI项目的测试结果页面)
Lakera
总部位于瑞士的Lakera.ai,在2021年由人工智能、网络安全领域的一群专家创立。Lakera的解决方案核心定位是AI防火墙,旨在应对传统的、和LLM特有的网络安全风险。它尤其专注于防止提示注入、数据中毒、不安全的输出处理,以及其他可能由人工智能系统独特的漏洞引发的威胁。Lakera的产品适用于包括航空航天、医疗保健和金融在内的多个行业。其主要产品和功能主要包括以下内容——
Lakera Guard
这是他们的旗舰产品,以易于集成而著称,只需一行代码即可完成集成,并且响应时间业界领先,通常可在50毫秒内对提示进行评估。它具有AI应用防火墙的功能,能以低延迟阻止各种威胁,如提示注入、数据泄漏和有害内容,确保敏感信息得到保护、人工智能应用程序始终符合组织政策。
S 全屏播放 full_screen_mv已关注
关注
重播分享点赞后 加className selected赞 随便看看
有拓展内容广告内容
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏天融信网空观察已关注
分享视频
,时长03:21
0/0
00:00/03:21
切换到横屏模式
继续播放
进度条,百分之0
播放
00:00
/03:21
03:21
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
您的浏览器不支持 video 标签
继续观看
AI技术的安全博弈:大模型安全海外前沿实践
观看更多
转载
,
AI技术的安全博弈:大模型安全海外前沿实践
天融信网空观察已关注
分享点赞推荐在看
已同步到看一看写下你的评论
E 视频播放器S 视频社交视频详情
(图:Lakera Guard产品Demo)
2.Lakera PII Detection
该工具可加强对个人身份信息(PII)泄露的检测和预防。它能高精度、低延迟地识别各种类型的PII;PII端点提供无缝API集成,为管理检测到的PII提供详细的JSON响应;它还包括仪表板集成,便于监控和编辑敏感信息。
3.Lakera Chrome浏览器扩展
无论是需要汇总并包含个人信息的文档,还是不小心将剪贴板中的私人数据粘贴到ChatGPT,该扩展都能保护用户的重要数据不被泄露;整个数据处理都在用户的浏览器(本地计算机)中运行,因此不会有数据离开计算机。
LayerX
以色列GenAI安全公司LayerX由一支网安经验丰富的专业人士团队创立,它专注于浏览器交互安全,旨在保护组织免受基于网络的威胁,通过高级解决方案监控、分析和控制浏览器活动,增强员工的安全性和生产力。LayerX主要有两款产品:LayerX企业浏览器扩展和LayerX Plexus引擎。
1.LayerX企业浏览器扩展
LayerX企业浏览器扩展可对网络会话进行最细粒度的分析,以防止攻击者控制的网页执行恶意活动,并防止用户将企业资源置于风险之中,同时不会中断用户与网站、数据和应用程序的合法交互。其功能还包括——
增强身份验证:利用浏览器扩展作为二次验证手段,加强访问控制和身份保护;
动态网页扫描:实时检测网页中的恶意代码和内容,监控用户行为,预防数据泄露和安全威胁;
自适应安全策略:制定基于风险的自适应或规则驱动的安全策略;
集中管理:通过单一控制台监控和管理所有浏览器,统一安全配置和更新;
浏览器安全维护:控制浏览器扩展安装,维护浏览器环境安全;
网络行为监控:全面了解员工对认可和非认可的SaaS应用的使用情况,揭示潜在的影子IT使用。
(图:LayerX浏览器扩展与云平台的智能安全架构)
L2. 2. LayerX Plexus引擎
LayerX Plexus引擎是一个创新的深度会话分析工具,它由两个核心组件构成:一个集成在浏览器扩展中的本地引擎,以及一个集中式云服务平台。这种双引擎架构允许Plexus引擎全面监控用户的浏览器活动,包括浏览器修改、网页行为和用户操作。所有收集到的数据都经过实时分析,并且通过LayerX的威胁情报云进一步丰富,以识别每个事件的风险背景,并在网络会话中自动执行相应的保护措施。
此外,Plexus引擎在浏览器扩展中进行的活动监控和风险分析都是本地完成的,只有当检测到风险时,相关信息才会被转发到后台管理系统。这种设计确保了个人身份信息(PII)等敏感数据永远不会离开用户的终端设备,从而保护了用户的隐私和数据安全。
(图:LayerX Plexus引擎:深度会话分析的综合视图)
Kindo
成立于2022年10月的GenAI安全公司Kindo,定位是大模型集中控制平台,这个切入点在目前市场上还比较少。Kindo公司是由前Subspace首席技术官Ron Williams创立的,该公司目前拥有23名员工。Kindo近期已获得2060万美元融资,同时还收购了开源安全项目WhiteRabbitNeo。目前Kindo的客户群主要包括上市公司以及领先的消费者移动应用和开源软件组织。
简单理解的话,Kindo就是一个协调平台,可以整合市场上的任何AI功能或大模型,用户可以控制谁访问这些模型、应用程序或其他数据源,以及哪些代理可以与哪些模型对话,Kindo对上面这些需求提供了集中控制。
Kindo平台的主要功能包括集中式AI治理和安全控制、防止AI交互造成的数据丢失、细粒度访问控制和审计日志,与200多个企业SaaS应用程序集成,以及支持内部部署、云部署和混合部署。
除了上述功能,Kindo平台还提供使用跟踪和对所有AI提示、数据和工作流程的分析;此外,Kindo平台还可以通过一键移除权限等功能,使员工离职时的权限管理变得更加简单高效。
S 全屏播放 full_screen_mv已关注
关注
重播分享点赞后 加className selected赞 随便看看
有拓展内容广告内容
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏天融信网空观察已关注
分享视频
,时长10:22
0/0
00:00/10:22
切换到横屏模式
继续播放
进度条,百分之0
播放
00:00
/10:22
10:22
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
您的浏览器不支持 video 标签
继续观看
AI技术的安全博弈:大模型安全海外前沿实践
观看更多
转载
,
AI技术的安全博弈:大模型安全海外前沿实践
天融信网空观察已关注
分享点赞推荐在看
已同步到看一看写下你的评论
E 视频播放器S 视频社交视频详情
(图:Kindo企业安全控制平台产品Demo)
Aim Security
Aim Security公司也是一家以色列公司,由网络安全资深人士Matan Getz(首席执行官)和Adir Gruss(首席技术官)创立,他们曾在以色列8200率先使用和采用人工智能和大数据工具。Aim Security的核心定位是AI治理解决方案,其产品提供全面的GenAI应用库存管理、风险评估、合规性审计和数据隐私保护。
Aim Security的核心功能之一是风险发现,它能够识别包含敏感数据或违反公司政策的提示,从而帮助企业及时发现并应对潜在的安全威胁。此外,该产品严格执行数据隐私和GenAI法规,确保企业在国际标准下的完全合规。Aim Security的功能还包括——
在保护措施方面:对于企业内部的大语言模型部署,Aim Security通过消除配置错误、检测威胁和加强信任边界,确保企业智能助手的安全性;同时,它还保护基于GenAI的自建应用,使所有输入免受提示注入、“越狱”和其他LLM漏洞的影响;
部署特点:非常灵活,包括与网络安全工具的集成、轻量级浏览器扩展、API连接到GenAI提供商,以及为自建应用提供定制部署;
在合规性方面:Aim Security符合SOC2类型II和GDPR合规性,符合AICPA标准。
(图:Aim Security控制平台界面)
HiddenLayer
自2022年7月HiddenLayer崭露头角以来,该公司一直展现出领先的市场领导力。目前,HiddenLayer已经与英特尔和Databricks建立合作伙伴关系,并且获得RSAC“最具创新初创企业”和SC Media的“最有前途的早期阶段初创企业”等荣誉。公司为包括金融、政府和国防以及网络安全等多个垂直领域的财富100强企业的AI模型提供防护。
此外,作为英伟达“初创加速计划”的一部分,HiddenLayer被公认为顶尖的AI初创公司。2024年5月,Microsoft
Azure AI开始部署HiddenLayer模型扫描器以保护使用开源模型的客户。
(图:Azure人工智能模型目录中Hidden
Layer对某模型的验证)
HiddenLayer的AISec平台由一套产品组成,旨在确保人工智能模型在整个MLOps流程中的完整性。该平台为GenAI和传统AI模型提供检测和响应,以检测提示注入、对抗性AI攻击和数字供应链漏洞。AISec平台提供专为GenAI量身定制的自动化、可扩展防御,可实现快速部署和主动攻击响应,而无需访问私人数据或模型。
(图:HiddenLayer的AISEC平台主要功能点)
下面我们来具体介绍一下AISec平台体系下的两款产品。
HiddenLayer人工智能检测与响应(AIDR)
HiddenLayer人工智能检测与响应(HiddenLayer AI Detection and Response,AIDR)是AISec平台中的一款网络安全解决方案,专为监测和防御针对GenAI和传统机器学习模型的恶意攻击而设计。它通过非侵入式技术保护AI模型免受未授权访问和数据泄露的风险。
S 全屏播放 full_screen_mv已关注
关注
重播分享点赞后 加className selected赞 随便看看
有拓展内容广告内容
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏天融信网空观察已关注
分享视频
,时长02:06
0/0
00:00/02:06
切换到横屏模式
继续播放
进度条,百分之0
播放
00:00
/02:06
02:06
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
您的浏览器不支持 video 标签
继续观看
AI技术的安全博弈:大模型安全海外前沿实践
观看更多
转载
,
AI技术的安全博弈:大模型安全海外前沿实践
天融信网空观察已关注
分享点赞推荐在看
已同步到看一看写下你的评论
E 视频播放器S 视频社交视频详情
(图:HiddenLayer人工智能检测与响应产品简介)
其主要功能包括——
监控、检测和响应针对GenAI和传统机器学习模型的对抗性人工智能攻击;
提供非侵入式监控,不给AI模型增加额外的数据或性能负担;
保护AI模型的隐私和安全,无需访问AI数据或特征;
实时防护AI模型,防范提示注入、PII泄露、推理攻击、规避攻击和模型盗窃。
(图:HiddenLayer提示注入攻击检测报告)
2.HiddenLayer模型扫描器(Model Scanner)
HiddenLayer模型扫描器是一款全面的AI模型安全分析工具,能够识别所有主流的机器学习模型格式和框架,并分析其结构、层、张量、函数和模块,以识别可疑或恶意代码、漏洞和完整性问题。HiddenLayer模型扫描器在Azure AI模型目录中提供的关键能力包括——
恶意软件分析:扫描AI模型中嵌入的恶意代码,这些代码可能作为感染媒介和恶意软件的发起平台;
漏洞评估:扫描针对AI模型的常见漏洞和披露(CVE)以及零日漏洞;
后门检测:扫描模型功能,寻找供应链攻击和后门的证据,例如任意代码执行和网络调用;
模型完整性:分析AI模型的层、组件和张量,检测篡改或损坏;
支持多种AI模型文件类型:包括Pickle、Dill、Joblib、Numpy、Zip、ONNX、HDF5、PyTorch、TensorFlow、Keras、Scikit-Learn、Safetensor和Cloudpickle等。
S 全屏播放 full_screen_mv已关注
关注
重播分享点赞后 加className selected赞 随便看看
有拓展内容广告内容
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏天融信网空观察已关注
分享视频
,时长01:17
0/0
00:00/01:17
切换到横屏模式
继续播放
进度条,百分之0
播放
00:00
/01:17
01:17
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
您的浏览器不支持 video 标签
继续观看
AI技术的安全博弈:大模型安全海外前沿实践
观看更多
转载
,
AI技术的安全博弈:大模型安全海外前沿实践
天融信网空观察已关注
分享点赞推荐在看
已同步到看一看写下你的评论
E 视频播放器S 视频社交视频详情
(图:HiddenLayer模型扫描器产品简介)
Credo
Credo AI成立于2020年,核心定位也是AI治理平台,该公司已被世界经济论坛评为“2022年技术先锋”“Fast Company's Next Big Thing in Tech 2022”,并被Madrona、高盛、微软和Pitchbook评为“智能应用40强”。
Credo AI的主要产品是AI
governance platform,它是一款AI治理软件。以下是其主要功能——
风险识别与控制:帮助组织识别和降低GenAI的安全风险;
Policy Intelligence引擎:GenAI安全控制措施由Credo AI的智能政策引擎驱动,为组织提供一套治理能力;
政策防护措施:提供现成的政策数据库,以减轻员工使用GenAI工具的关键风险,如数据泄露、有害内容、代码安全漏洞和知识产权风险;
沙盒环境:提供沙盒环境,用于安全和负责任地试验GenAI工具。
(图:Credo AI Lens:模型与数据集评估的集成视图)
Protect AI
Protect
AI位于美国西雅图,成立于2022年,用于检测和缓解AI系统中的漏洞。Protect AI入选了《财富》杂志评选的“Cyber60,Inc.'s Best Workplaces”和CB Insights的“Top AI Companies”等多个知名榜单。在资本层面,Protect
AI目前已完成两轮、共计4,850万美元融资,并且收购了Rebuff、Recon、Laiyer ai、SydeLabs等GenAI安全平台。
Protect
AI提供五种主要产品,它们分别是:人工智能模型零信任产品Guardian、端到端LLM安全与治理监控产品Layer、人工智能安全态势管理产品Radar、人工智能/ML供应链漏洞数据库Sightline、针对GenAI的自动化红队测试产品Recon。
人工智能模型零信任产品Guardian
人工智能模型零信任产品Guardian专门针对大模型实施零信任方法。它主要提供下列功能——
持续扫描第三方和第一方模型是否存在安全威胁;
阻止不安全的模型在企业环境中使用;
确保ML供应链的安全;
为ML模型开发和部署添加关键的安全层;
支持Pytorch、Tensorflow、XGBoost、Keras和其他流行的框架。
(图:Guardian vs PAI Open Source Comparison)
2.端到端LLM安全与治理监控产品Layer
Layer为GenAI提供全面的安全和治理监控解决方案,涵盖了针对所有LLM用例的智能检测与补救措施。它能够有效防止数据泄露,抵御对抗性提示注入攻击以及保护系统完整性。
(图:端到端LLM安全与治理监控产品Layer主要功能点)
3.人工智能安全态势管理产品Radar
目前Radar被誉为市场上最全面的人工智能安全态势管理(AI-SPM)解决方案。它提供有效检测和降低人工智能/移动终端系统中的风险;在整个人工智能生命周期中快速检测和响应安全威胁。
(图:Radar的主要功能特点)
4.AI/ML供应链漏洞数据库Sightline
Sightline是Protect AI提供的另一个重要产品,可帮助客户检测、评估和修复AI/ML供应链中的漏洞,为风险提供早期预警、情景化洞察和修复建议。现有的漏洞数据库植根于传统的CVE(常见漏洞和暴露)和NVD(国家漏洞数据库)来源,无法解决AI应用程序和ML模型安全的复杂性,需要耗费大量时间手动评估人工智能和ML中的已知漏洞。
Sightline超越了传统的漏洞和安全警报产品,提供对AI和ML的新兴和已知漏洞的深入洞察,拥有行业领先的早期预警系统,可在威胁公开披露前平均30天防御威胁。
(图:Sightline的主要功能特点)
5.针对GenAI的自动化红队测试产品Recon
Recon专为生成式人工智能系统的自动红队测试而设计,该产品最初是由SydeLabs开发的,当时名为SydeBox。在2024年7月Protect AI收购SydeLabs之后,它被整合到Protect AI平台中。Recon可以识别和测试各种类型的攻击,包括“越狱”、提示注入攻击、数据泄露等,以及其他攻击载体。
以下是Recon的主要功能:
无代码集成:实现快速部署,无需复杂编程即可轻松实施安全解决方案;
可定制目标:利用简易指令创建目标规则,捕获并分析请求与响应数据对;
AI驱动的自动化扫描:为各类LLM提供深度自动化扫描,揭示更深层次的安全洞察;
(图:Recon使用AI驱动的自动化扫描)
全面威胁分析:综合评估多种潜在威胁,确保全方位风险识别;
红队与攻击库结合:融合使用攻击库和基于LLM的红队模拟技术,增强安全策略的有效性;
动态威胁研究与静态漏洞库:应用基于最新威胁研究成果的静态库,持续更新并定制化存储已知安全漏洞。
(图:Recon提供基于威胁研究的静态库)
Helicone
Helicone是一家刚刚融到种子轮融资的美国GenAI公司,它的定位是开源的人工智能透明度与可解释性监控平台,专门针对前沿的GenAI应用。Helicone通过记录调用、监控性能指标和提供定制化分析,为GenAI项目提供支持,适用于自然语言处理、计算机视觉和语音识别等多种AI应用场景,能够实现亚毫秒级延迟影响,100%日志覆盖率,行业领先的查询时间。
(图:Helicone平台页面)
Helicone的功能还包括——
请求日志记录:通过极简化的代码集成,实现对AI服务调用的详尽记录和性能分析;
元数据增强分析:用户定义的元数据添加,深化对AI应用的数据洞察;
Token使用优化:详细Token使用报告助力企业提升模型效率;
成本效益分析:数据驱动的成本管理,帮助企业优化资源分配;
自定义数据处理与导出:支持根据用户逻辑处理数据,并导出以辅助决策;
跨领域AI应用支持:涵盖自然语言处理、计算机视觉、语音识别等多个领域,提供模型监控、优化和成本效益分析。
Qualifire
Qualifire也是一家以色列GenAI安全公司,成立于2023年。Qualifire的核心定位是AI治理工具,通过对人工智能输出进行实时监控和评估,确保它们符合组织的标准、监管要求和质量政策。在标准基准测试中,Qualifire实现了99.6%的准确率,每秒处理能力达600个token,并能捕捉99%的问题,确保对AI应用的高效精准监控。
Qualifire平台的主要功能包括——
实时策略执行:确保实时遵循企业的政策,为客户的品牌和声誉提供即时防护;
问题检测:智能识别违规和异常响应,及时捕捉潜在问题;
保护机制:通过阻止、重试、安全默认或自定义修复等措施,确保高质量输出;
监控和警报:实时监控AI应用,即时发布警报,全面监控生产环境健康;
企业级安全:支持私有云或VPC部署,确保数据模型安全,遵守SOC 2 Type II标准。
Cranium.ai
Cranium于2023年在毕马威工作室(KPMG Studio)内秘密孵化并获得资金,并独立成一家商业化运营的公司。其产品的核心定位是AI治理工具,提供企业人工智能安全和信任软件,使企业能够在其AI/GenAI系统中获得可视性、安全性和合规性。Cranium的软件与现有环境集成,不会干扰企业测试、训练和部署大模型的工作方式。
Cranium AI的主要产品是Cranium
AI Exposure Management,这是一款专注于风险暴露管理的解决方案,旨在帮助组织保护其内部和第三方AI系统。以下是该产品的主要功能:
AI工作流增强:融合安全的LLM架构和专有威胁情报,增强对AI系统的监控能力,评估潜在的安全漏洞;
漏洞检测:辅助客户识别AI基础设施的安全缺陷,保障机器学习应用的安全性;
红队能力强化:加强红队能力,以识别新威胁、制定防护策略,增强AI系统对抗已知攻击手段的能力;
OODA循环全程支持:在OODA(观察、判断、决策、行动)循环的每个环节为AI红队提供支持,提升对AI攻击面的识别和响应效率;
安全集成框架:构建安全框架,确保AI功能在业务中的安全整合;
风险管理:执行风险缓解措施,处理已发现的安全风险和漏洞;
合规性监控:确保遵守现行和预期的监管要求,并对供应商执行同样标准;
动态漏洞监控:持续监督AI系统的安全状况,防御潜在的对抗性威胁;
数据保护合规:确保数据处理活动遵循隐私保护法规,保护用户敏感数据。
(图:Cranium AI系统界面)
Prompt Security
Prompt Security公司成立于2023年8月,创始团队在网络安全和AI领域拥有深厚的专业知识,在Check
Point、Orca
Security和以色列8200等机构拥有多年构建和保护ML系统的经验。Prompt Security的首席执行官和首席技术官还曾是OWASP Top 10 for LLM Applications核心团队成员。
Prompt Security的主要业务领域是AI防火墙和针对人工智能系统的实时监测与响应。Prompt Security提供的具体服务包括:跨模型安全、实时监控与响应、提示注入保护、安全提示工程、全面风险评估、安全审计与咨询服务等。
(图:Prompt Security 平台上的Activity Monitor系统)
2024年4月,Prompt
Security宣布与F5合作,在F5分布式云服务上为人工智能应用提供防火墙,这将在以下四个关键的GenAI安全领域为企业带来价值:
解决GenAI特有的安全风险:Prompt Security平台针对GenAI应用的流量进行集中管理和路由,实现了对所有传入提示的全面监控和安全防护;
确保数据隐私和防止数据泄露:Prompt Security能够实时过滤和模糊处理任何敏感数据,使企业能够保护数据隐私并保持合规性;
审核LLM生成内容:确保用户输入提示在送达公司系统之前经过检查,同时确保LLM生成的响应内容安全无害,不含有对公司可能造成损害的有毒或有害信息;
AI治理与可检测性:应用开发者和安全团队必须监控来自生成式AI的所有入站和出站流量,Prompt Security为与GenAI的每次交互提供完整的日志记录,包括用户、提示、响应、发现等。
(图:Prompt Security AI防火墙位于LLM的入站查询和出站响应路径中,以阻止入站攻击和出站数据外渗)
Vigil
GitHub - deadbits/vigil-llm:⚡Vigil⚡Detect prompt injections,
jailbreaks, and other potentially risky Large Language Model (LLM) inputs
Vigil是一个Python库和REST API,专门用于评估LLM的提示和响应。其主要功能是检测提示注入、“越狱”和其他与LLM交互相关的潜在风险。该工具目前处于alpha状态,被视为实验性工具,主要用于研究目的。
它的具体功能包括——
提示分析:Vigil擅长分析LLM提示,有效识别提示注入和风险输入,保障LLM交互的安全性和完整性;
模块化扫描器:采用模块化设计,便于扩展,使Vigil能够适应不断变化的安全威胁和需求;
多样化检测技术:Vigil综合运用矢量数据库对比、文本相似性分析、YARA规则匹配、启发式检测、变换器模型分析、提示-响应比对以及金丝雀标记等多种检测手段;
自定义检测规则:用户可利用YARA签名自定义检测规则,增强工具的灵活性和适应性。
G-3PO
G-3PO: A Protocol Droid for
Ghidra | by Olivia Lucca Fraser | Tenable TechBlog | Medium
G-3PO作为二进制代码逆向工程和分析领域的安全工具,可以发挥相当大的作用。利用像GPT3.5、GPT4或Claude
v1.2这样的大模型可以带来很多好处——
自动分析:它能自动生成反编译代码的注释和见解,有助于更快地理解复杂的二进制结构;
漏洞检测:鉴于LLM可根据其训练有素的模式和数据提供见解,因此脚本可帮助识别代码中的潜在安全漏洞;
增强代码可读性:为函数和变量推荐有意义的名称有助于提高代码的可读性和可理解性,这对安全分析至关重要;
提升工作效率:通过自动完成部分代码审查和文档编写过程,可节省逆向工程师和安全分析师的时间。
LLMFuzzer
https://github.com/mnns/LLMFuzzer
LLMFuzzer是专为大模型设计的开源模糊测试框架,主要侧重于通过LLM API将其集成到应用程序中。其主要功能包括——
全面的LLM模糊测试:它可严格测试LLM的漏洞;
LLM API集成测试:它可以测试各种应用程序中的LLM集成;
多样化的模糊测试策略:LLMFuzzer采用多种策略来识别漏洞;
模块化架构:其设计允许根据特定测试需求进行轻松扩展和定制。
LLMFuzzer将持续更新,预计增加包括更多攻击手段、HTML格式报告、多连接器支持以及独立攻击模式等功能。用户可以从GitHub直接克隆框架,利用其模块化设计按需定制测试方案。
三
其他参考文献
Cybersecurity
in an AI-First World | Geodesic (geodesiccap.com)
Mapping
Israel's GenAI security pioneers | Ctech (calcalistech.com)
Security for
AI: The New Wave of Startups Racing to Secure the AI Stack - Menlo Ventures
(menlovc.com)