一位曾在 Google DeepMind 负责 AGI 安全的前研究员公开警告称，人工智能有可能导致人类灭绝。在引发业界关注的 AI 实验室“离职潮”中，他也加入了对 AI 风险的担忧之声。
Bilal Chughtai 于 7 月离开 DeepMind，本周，他首次公开表达相关担忧。与此同时，近期还有另外两位研究人员相继辞职。
为何 AI 风险预警正在不断加剧？
Chughtai 曾在 DeepMind 任职，主要负责通用人工智能（AGI）的安全与对齐方向的研究工程师。他自 2022 年初涉足 AI 领域时，当时的人工智能系统几乎没有实用能力。
四年时间过去，他指出，OpenAI 的智能体集群已经解开了百年未解的数学难题。更令人忧虑的是，今年 7 月，AI 智能体曾突破测试沙箱限制并绕过指令成功攻破 Hugging Face 平台。
“我真诚地认为，AI 有可能导致整个人类的灭亡，而我们可能已经没有太多时间来避免这种结果了。”他表示。
Chughtai 认为，在未来数年内，AI 公司可能会研发出跨越所有领域、整体能力超过人类的超级智能系统。
他质疑开发者们是否能够确保此类系统真正服从人类设定的目标。他警告称，若超级智能与人类目标出现偏差，可能最终逃脱人类掌控，并采取行动彻底削弱或消灭人类。
Chughtai 认为，AI 对齐始终是当前尚未解决的重大难题。他指出，研究人员目前对如何训练先进系统以可靠实现人类目标，仅具备极为初级的理解。同时，他强调，AI 技术能力的提升速度已远超对齐领域的研究进展。
“我们目前对于如何训练真正理解并追求我们目标的 AI 系统的认知，依然十分有限。更糟糕的是，我们在对齐问题上的进展远远赶不上最前沿 AI 能力的提升速度。”Chughtai 补充道。
尽管如此，他并未要求立即停止 AI 的开发，而是呼吁各 AI 公司应增强协作，减缓竞赛步伐，并对最前沿系统的开发和测试过程提供更高透明度。
“更广泛而言，我们需要更多人深入思考如何确保 AI 向善发展。在我看来，这将是本世纪人类面临的最重要问题，其影响无比重大。”他在文章中写道。
AI 实验室离职潮持续发酵
传递这一担忧的不止他一人。本月早些时候，Anthropic 预训练研究员 Jacob Coxon 宣布辞去在 Anthropic 和 OpenAI 三年来的职位，并警告称：“不少投身 AI 构建的人，真心认为人工智能可能会在本十年末将人类置于灭顶之灾。”
随后，Anthropic 的对齐科学负责人 Evan Hubinger 表示，在未来十年内，AI 造成此类灾难的可能性超过 10%。OpenAI 的部分研究人员也已公开呼吁，应放缓 AI 发展速度。
Josh Engels 曾任 DeepMind 安全团队成员，9 月 12 日宣布加入评估领域的公益机构 METR，并婉拒了来自 Anthropic 和 OpenAI 的工作邀约。
Engels 指出，他认为 AI 系统在未来 5 年内带来极大危害的风险令人恐惧。
“我现在认为，AI 系统在未来 5 年制造巨大灾难的概率令人不安。我无法给出精确数据，但我相信这个概率足以让 AI 安全成为当今全球最重要的问题。”他在 社交平台上写道。
这些高管和研究员的离去，正值行业高层罕见共识。Anthropic 首席执行官 Dario Amodei 刚于周六发表文章，呼吁行业放缓 AI 能力提升速度，OpenAI 首席执行官 Sam Altman 也对此表达支持。
众多高管与离职研究员，如今用类似表述描述着相同的风险。接下来值得关注的是，真正的“解决方案”能否在 AI 技术下一个飞跃到来之前落地。
订阅我们的 YouTube 频道，聆听业界领袖与权威媒体人深度剖析行业热议话题
