行业领导者携手成立“开放安全 AI 联盟”,推动 AI 安全和保障发展

NVIDIA 与数十家创始成员组建新联盟,旨在构建和共享开放工具,促进负责任地使用 AI 并增强对 AI 的信任。
作者

开源软件是全球经济的重要支柱。它通过让专家社区能够访问和观察技术,为云计算、金融服务、制造业、电信、政府和互联网服务提供了坚实的基础。

网络安全是开源软件的三大受益领域之一。开放安全 AI 联盟 (Open Secure AI Alliance) —— 在 Linux 基金会Akrites 倡议OpenSSF 社区工作的基础上发展而来 —— 将使用开放技术修复和披露漏洞。

正如开源为软件构筑了共享的基石,我们及合作伙伴如今在 AI 安全领域也面临一个选择:保护我们基础设施的防御系统,究竟是应该置于少数不透明的系统中,还是应该建立在任何防御者都能研究、调整和部署的开放的模型、Harness 和工具上。

世界既需要闭源模型,也需要开放模型。对于网络安全而言,开放模型和开放框架至关重要,因为它们实现了防御能力普及化,提高了防御者的透明度,在保护数据的同时实现网络防御,并通过可定制的本地化管理对前沿的闭源模型进行了补充。开源技术支持大规模分布式的、社区驱动且自主可控的防御 —— 不存在单点故障。

与任何强大的技术一样,开放模型也可能被滥用,包括试图削弱其安全保护或将功能用于网络攻击,但这些风险并非开放系统所独有,无论先进 AI 部署于何处,都必须对这些风险进行妥善管理。

最近发生的 Hugging Face 安全事件提供了一个清晰的提醒:网络防御者需要开放的、前沿的智能体系统来进行自我防御。当无法区分攻击者和防御者的闭源 AI 工具阻碍了关键的取证分析时,Hugging Face 在自己的基础设施上运行了开放权重 GLM 5.2 模型,分析了超过 17,000 个动作,并遏制了入侵。

这一事件揭示了一个现实:当防御者无法在自己的基础设施上检查、调整和运行先进的 AI 时,他们的响应能力恰恰在最需要速度的时刻受到了限制。企业和国家/地区需要开放的前沿防御工具和技术,以便关键行业能够在多供应商生态系统中构建安全系统,并避免单点故障。

这就是开放安全 AI 联盟的使命:确保世界各地的防御者拥有其可信任和管理的开放前沿工具。

来自云计算、网络安全、企业软件、开源基金会和 AI 研究领域的领导者 —— 包括 NVIDIA、Adobe、Cadence、Capital One、Cisco、Cloudera、Cloudflare、Cognition、CrowdStrike、Databricks、Dell Technologies、DoorDash、Elastic、HPE、Hugging Face、IBM、LangChain、the Linux Foundation、Microsoft、NAVER、NetApp、Nous Research、OpenClaw、Palantir、Palo Alto Networks、Red Hat、Reflection AI、Salesforce、SAP、SK Telecom、ServiceNow、Siemens、Snowflake、SpacexAI、Synopsys、Thinking Machines Lab 和 TrendAI 皆是开放安全 AI 联盟的创始合作伙伴。该联盟旨在开发和共享开放技术、方法和工具,以在 AI 时代保障软件和智能体的安全。

有人认为,开放模型本身就存在安全隐患,因为它们可能被滥用于网络攻击或被修改以移除安全护栏。这些风险是真实存在的,但它们不会在闭源系统中消失,仅靠封闭权重并不能阻止蓄意攻击者去设法找到或利用强大的 AI。

正确的应对措施不是拒绝防御者访问功能强大的开放系统。而应该将开放性与强有力的保障措施、明确的反恶意滥用规则、严格的评估和快速修复相结合。在网络安全领域,更安全的路径是赋予更多的防御者能够测试、验证和加强社会所依赖的系统的能力。

防御者需要前沿闭源模型和前沿开放模型协同工作,以便他们能够选择适合任务的系统,并确保在安全需求所及之处,可实现透明化、适配性和自主可控。

开放研究提升网络安全和 AI 安全性

AI 智能体不仅仅是一种语言模型。它是一个由模型、Harness 和安全护栏组成的复杂系统。

真正的 AI 安全与保障取决于整个智能体技术栈 —— 身份认证、权限、Harness、安全护栏、日志和评估 —— 而不仅仅是模型权重为开放还是闭源。开放 Harness 和工具使许多防御者能够更轻松地检查、测试和改进这些管理措施。

NVIDIA 正在向开放安全 AI 联盟贡献开放模型、模型权重、数据和新的智能体 Harness 研究,以加速开发新的网络安全工具和技术。

全新开源 NVIDIA Labs Object-Oriented Agent (NOOA) 项目现已在 GitHub 上发布,使智能体 Harness 更容易获取先进 AI 安全功能。NOOA 研究框架使 Harness 能够更好地与模型集成,使智能体行为更容易测试、追踪、审计和治理。

在整个联盟中,贡献者们正在为智能体构建一个开放的防御技术栈 —— 从身份认证和隔离到安全模型格式、多模型扫描以及安全编码工作流。

HPE 为 SPIFFE/SPIRE 做出贡献,创建零信任身份框架标准和方法,可对 AI 智能体和服务进行加密验证,确保只有经过授权的工作负载才能通信和访问企业资源。

Hugging Face 向 PyTorch 基金会提供了 Safetensors —— 一种用于存储 AI 模型权重的安全格式,提供透明度并保证不会执行远程代码。

IBM 和 Red Hat 的 Lightwell 通过数字签名补丁,将安全性扩展到了整个开源供应链。

Microsoft 的 MDASH 多模型智能体扫描 Harness 负责编排专用 AI 智能体来发现、讨论和证明可利用的漏洞。

SpaceXAI 开源了基于终端的 Grok Build AI 编码智能体,以提升信任、透明度和新功能,并计划开源 Grok 系列模型的权重,以支持开发者和研究社区。

致政策制定者和监管机构的呼吁

随着政策制定者和监管机构努力应对 AI 安全问题,在 AI 和网络安全政策中,将开放模型、Harness 和安全工具视为防御性资产而非负债将变得至关重要。全面限制开放前沿 AI 系统将削弱防御能力,并存在将权力、依赖性和脆弱性集中在少数闭源提供商手中的风险。

企业和政府应该投资于 AI 防御的共享开放基础设施 —— 数据集、评估框架、攻击模拟器和红队工具 —— 就像过去几代人投资开源软件一样。

我们应该构建的未来

AI 智能体时代可以成为一个具有韧性和共享安全性的时代。通过正确的选择,开放安全 AI 系统可以为防御者提供所需的工具、加强竞争力、扩大技术领先优势,并确保这项出色技术的安全与防护是在公开透明的环境中为每个人而构建。

我们不能只靠保密来确保未来的安全性。而是要通过构建足够强大的系统来确保安全,这些系统不仅要经得起检验,还要足够灵活以便进行改进,并足够开放以便动员整个防御者社区。

这样的未来值得建设 —— 开放安全 AI 联盟邀请政府、行业和研究人员共同参与,共同守护 AI 时代的安全。

了解详情或表达加入开放安全 AI 联盟的意向。