作者 / 涂彦平

编辑 / 张 南

设计 / 柴文静

智能体纷纷上车，具身机器人排队进厂拧螺丝，AI破解蛋白质折叠难题，又选手拿下国际奥数竞赛金牌……

2025年，全球人工智能领域迎来了多维度突破，技术演进与产业落地呈现爆发态势。

这真是一个疯狂的时代。

也许许多年以后，我们回看2025年，才能更清晰地看到，那时的我们正站在人类从碳基生命向硅基生命进化的关键转捩点上。

而对于当下的人们来说，面对AI的突飞猛进，惊喜之外还有担忧。

这里说的担忧并不是指AI取代人类工种这种确定性的事情，而是指不确定性的事情——AI的安全问题。

毕竟这个世界越来越癫，寺庙都保佑不了平安，普通人想知道AI比人更智能之后会把人类带向何方，自己的命运究竟是掌握在谁的手里。

可是，你先听听那些置身AI前沿的人类是怎么说的。

被尊称为AI教父的杰弗里·辛顿（Geoffrey Hinton）在2024年诺贝尔奖颁布现场连线时表达了对AI的担心，“这可能导致比我们更智能的系统终将控制一切”。

因为多次公开表达对AI的担忧，辛顿又被称作AI时代的奥本海默。

OpenAI联合创始人兼CEO山姆·奥特曼（SamAltman）将从事AI研究的感觉类比为1945年参与曼哈顿计划的科学家看核试验的感觉。AI最终可能像原子弹一样危险也可能像变压器一样有益，他承认自己并不确切知道会是哪个。

最近奥特曼体验OpenAI下一代大语言模型GPT-5，AI的回答让他瘫在椅子上，感觉自己毫无用处。

马斯克在xAI的Grok-4模型发布会上表示，有时确实会担心创造出远超我们自身智慧的智能，不知道对人类是好是坏。但他认为大概率是好的，“即使结果不好，我至少也想活着亲眼见证它的发生”。

看吧，未来AI究竟会是邪恶还是善良，他们也并不知道。

7月26日上午，77岁的辛顿出现在2025世界人工智能大会上，作大会开场演讲，题目是那个人人都想知道答案的问题：《数字智能是否会取代生物智能？》。

在回顾了AI近60年发展历史之后，他解释了大模型的运作逻辑，并抛出观点：“人类理解语言的方式和大语言模型的方式几乎是一致的。人类甚至可以被看作一种大语言模型。也正因如此，人类也和AI一样会产生幻觉。”

而AI在某些方面比人类更强，比如AI系统具有永生性，而人不能永生。这可能正是可怕的地方。

辛顿表示：“有人可能会认为，万一AI不听话，我们可以把它关掉，但这并不现实。如果AI足够聪明，它会通过操纵人类、获得控制权等方式来避免被关闭。”

他把当前人类与AI的关系比作饲养一只小老虎。它长大后可能轻易超越人类，人类为了生存，要么摆脱它，要么找到永久保护自身的方法。

一个事实是，AI已无法消除，因为它能大幅提升几乎所有行业的效率，已经成为国家与国家之间，企业与企业之间，甚至人与人之间的竞争。

“即便有国家想消除，其他国家也不会认同。”因此，辛顿呼吁全球建立由各国人工智能安全研究所与国内研究网络组成的国际社群，培养不会从人类手中夺权的“好AI”。

7月26日下午，辛顿出现在2025 WAIC“人工智能发展与安全全体会议”上。他与图灵奖得主、上海期智研究院院长姚期智展开了一场深度对话。

姚期智问辛顿：你认为 AI 领域最重要的未解决问题是什么？

辛顿回答：如何训练出一个最终是善良的 AI。

他进一步解释：“我的猜想是，这很像养育孩子。养孩子的时候，你可以给他定规矩，但那几乎不起什么作用。你可以奖赏惩罚他，有一点效果。或者你可以给他展示好的行为榜样。如果父母表现出良好的行为，孩子通常会成长为一个品德高尚的人。”

借鉴养育孩子的方法，辛顿认为，我们应该用精心筛选的数据来培养AI。

“当它开始学习时，它只接触好的行为。我们把所有人的不良行为先存起来，等它学会了什么是好的行为之后，再把那些不良行为给它看。”

关于培养好的AI，姚期智的回答也很有意思：“我相信，这个世界上有好人，也有坏人。但事实上，好人也可能在不同环境下变成坏人。”

具体到AI的培养上，他认为，“要真正把机器人训练得善良，就得在许多情境下考验它——我猜想，一台好机器人，如果你让它承受巨大的压力，并且一旦做错就会被销毁，那么它就会变得非常冷酷无情。”

姚期智抛出观点：一个宏伟的理想是我们应该首先改造人类本身，创造一个善良占上风的世界，否则就无法保证心怀不轨者不会制造出带有敌意的机器人来消灭善良的机器人。

但在AI智能超过人类之前完成改造人类的宏伟理想，显然已经来不及了。

辛顿又想到一个替代方案：先造出一个大体上善良的AI，然后让它去设计一个更善良的AI，用递进的方式让AI变得越来越善良。

在这场专门讨论AI安全的会议上，还有很多中外专家献计献策。

有人提出，应该充分借鉴生物伦理、传统工程安全等领域的经验，降低人工智能风险。

有人提出，要通过建立类似国际原子能机构的专门机构等方式，形成具有广泛共识的人工智能治理框架和标准规范，共同应对人工智能风险。

最后，中国信息通信研究院、中国电子信息产业发展研究院、清华大学、上海人工智能实验室4家单位联合发布《中国人工智能安全承诺框架》。

框架在相关企业安全承诺基础上新增针对加强安全治理国际合作和关于防范前沿AI安全风险的重要内容。

26日下午，在2025 WAIC“科学前沿全体会议”上，辛顿与上海人工智能实验室主任、首席科学家周伯文也有一场对话。

辛顿抛出让人惊奇的观点：“当前的多模态聊天机器人已经有意识了。”

如何降低AI的潜在风险，辛顿说了一段话：“你可以有让AI变得善良的技术和让它变得聪明的技术，这会是同一个AI，但使用了不同的技术。因此，各个国家可以分享使AI变得善良的技术，即使他们不想分享使AI变得聪明的技术。”

这的确是一个有趣的方案。

周伯文对此有些疑虑，问是否会存在一种普适性的、训练AI善良的方法，以应用于不同智能水平的AI模型。辛顿表示，这是自己的希望，它可能无法实现，但值得去探索。

他还表示：“很有可能随着决策系统变得越来越智能，我们让它保持善良的技术也需要随之改变。我们现在还不知道答案，这也是我们需要立刻开始研究它的原因之一。”

此前一天，7月25日，辛顿、姚期智、本吉奥（Yoshua Bengio）、斯图尔特·罗素（Stuart Russell）等20余位行业专家、学者在第四届AI安全国际对话（IDAIS）论坛上共同签署《AI安全国际对话上海共识》。

上海共识为AI划出三条规则：

其一，要求前沿人工智能开发者提供安全保障；

其二，通过加强国际协调，共同确立并恪守可验证的全球性行为红线；

其三，投资基于设计的安全人工智能研究。

“一切坚固的东西都烟消云散了，一切神圣的东西都被亵渎了。人们终于不得不冷静地直面他们真实的生活和他们的相互关系，并在自我虔诚中，变得踏实、柔软且平和。”

《共产党宣言》里的这段话，用来描述我们面临超级AI降临时刻的感受，再合适不过了。在研究AI向善的同时，我们人类还是先“在自我虔诚中变得踏实、柔软且平和”起来吧。