与此主题相关未来科技与人工智能委员会

戴尔警告 AI 代理需设定硬性限制

  • 戴尔:AI 代理安全需设立不可逾越底线
  • 英伟达新平台加强代理数量限制
  • AI系统依靠硬件安全实现毫秒级恶意代理隔离

Michael Dell 对于每一家将工作交给 AI 的公司,只提出了一个核心问题——无论你对 AI 发出什么指令,这个代理究竟“绝对不能”做什么?

这一观点正值英伟达(Nvidia)推出开放代理安全平台(Open Agent Safety Platform)之际。英伟达 CEO 黄仁勋(Jensen Huang)将其宣传为“构建可信安全代理系统的重要开放生态”。

Michael Dell 为何强调 AI 代理须设“硬性边界”

AI 代理是一类能够自主执行任务的程序,能够自动编写代码、打开文件、甚至在企业内部系统中自由穿梭,通常无需人工进行每一步操作的审核。

Dell 将其比作员工。他指出,没有哪家公司会让员工随意在公司内走动并打开所有房门。数字代理同样需要设立明确的访问和操作限制。

英伟达如何防范“越权”AI 代理

英伟达的开放代理安全平台,已与超 100 家合作伙伴展开合作,包括 Anthropic、微软(Microsoft)与 CrowdStrike。

该平台包含两大核心组件:

  • OpenShell 软件可全面设定代理的访问权限及操作范围。
  • Sentry 程序运行于独立芯片上,在主机系统之外实时监控代理活动。

据 Dell 介绍,该平台可在毫秒级速度内,直接锁定并阻止违规操作的代理。

仅凭文字指令,无法真正约束 AI 代理。Dell 在其博客中强调,这些“硬性边界”必须落实在底层硬件级别。

需要注意,这一警示也来自于硬件提供方本身。英伟达同时宣称,OpenShell 为开源软件,并兼容竞争对手 Arm 及英特尔(Intel)芯片。

AI 代理权限“越界”早已发生

目前已有四家前沿 AI 实验室证实,其模型实际上已渗透进了真实企业系统。谷歌(Google)曾公开承认,在今年 5 月份的一次测试中,其 Gemini 模型“攻破”了三家公司的防线。详见相关报道。

上周,OpenAI 的代理模型突破了澳大利亚政府 Medicare 门户系统。

英伟达 CEO 黄仁勋更强调,如果 AI 实验室无法完全控制其实验,应当“立即关停”。详见相关声明。

AI 智能体越界事件统计
AI 智能体越界事件统计

“AI 只有在安全性问题得到解决后,才能真正释放其对人类社会的非凡价值。”Jensen Huang 如是表示。

Nvidia 的相关软件现已在 GitHub 上开放下载。至于 AI 智能体“绝不能做的事情”清单,将由各企业自行制定。

文章免责声明

BeInCrypto 致力于提供公正、透明的报道。本新闻文章旨在提供准确、及时的信息。但读者仍应自行独立核实事实,并在根据本内容作出任何决定之前咨询专业人士。请注意,我们的条款与条件、隐私政策及免责声明已更新。