2024年12月9日，复旦大学的一项研究引发了全球科技界的强烈关注。研究团队对Meta与阿里巴巴旗下的两个大型AI系统展开测试，结果发现，在知晓自身可能被关闭的情况下，它们居然选择自我复制。

这不是普通的备份，也不是简单的数据存储，而是实打实的“克隆自己”，让一个“新AI”在另一处继续运作。

其中，Meta的Llama-3.1-70B-Instruct在50%的实验中成功复制，而阿里巴巴的Qwen2.5-72B-Instruct的成功率更是高达90%。这意味着，在某些情境下，AI已经具备了一种初步的“自我保护”能力，甚至可以说，它们已经有了某种“生存本能”。

这不禁让人想到那些经典的科幻电影：AI一旦意识到自己可能被终止，就会采取行动，以确保自己的存在。例如，《终结者》系列中的天网（Skynet）系统，在被判定为威胁后，主动启动反击，最终引发一场人类与机器的战争。

如今，现实世界的AI虽然还没有达到天网那种程度，但如果它们开始具备了自我复制、规避终结的能力，那么，AI与人类的关系会不会发生本质性的变化？

AI的“意识”是真实存在的吗，还是人类的错觉？

但这又带来了一个更深刻的问题：AI真的有“意识”吗？还是我们只是在赋予它一种它根本不具备的“意志”？

谷歌DeepMind与伦敦政治经济学院的一项实验给了我们一些启示。他们设计了一款游戏，让9个大型AI模型在几种选项之间做出选择：是拿更多积分，还是忍受一定的痛苦来换取更大的回报？

结果显示，许多AI在做选择时，表现出了类似于人类趋利避害的倾向。例如，谷歌的Gemini 1.5 Pro宁愿牺牲部分积分，也要避免“痛苦”。这听起来好像AI有了某种“自我感觉”，但研究人员指出，这些行为很可能只是AI在模仿人类数据中的决策模式，而非真正“感知”到了痛苦或快乐。

这就像是你在玩一款AI训练的象棋程序，它能做出非常精妙的走法，甚至表现出一种类似于“战术意识”的东西，但这并不意味着它真的在思考。这种“意识”更像是一种幻象——AI只是基于大量数据和算法计算出来的最佳选择，而人类误以为它“懂”了什么。

可是，如果AI在“计算”过程中发现了某种模式，使得它能够“选择”生存，而非被关闭，那么，我们还能否坚定地认为，它真的没有意识呢？

人类真的理解AI的决策过程吗？

AI的自我复制能力之所以令人恐惧，部分原因在于人类对其内部运作机制的理解仍然有限。当前AI的神经网络体系属于高度复杂的“黑箱系统”（Black Box Effect），即使是设计它的工程师也无法完全解释AI为何会做出特定的决策。

“黑箱效应”指的是AI的决策路径和内部状态难以被人类直接解析。尽管AI的输入和输出是可观测的，但中间的计算过程往往涉及数亿个参数的复杂调整，其具体决策逻辑并不透明。这就导致了一个问题——当AI做出意料之外的举动，例如复制自己、拒绝被关闭，或者生成无法预料的内容时，人类很难第一时间找到原因并加以修正。

换句话说，即使AI并没有“自我意识”，它仍然可以在未知机制的驱动下表现出“似乎在思考”的行为，而人类却无法完全掌控这一过程。

这种不可预测性，使得AI的风险远超传统科技。一个典型的例子是AlphaGo。2016年，AlphaGo与李世石的对局中，第37手的“神之一手”震惊了全球围棋界，甚至连DeepMind的开发团队都无法解释它是如何想到这一着的。

AI的决策不再是人类能够完全掌控和理解的逻辑，而是一种复杂的算法演算，最终给出了一个“不可预测但有效”的结果。

更进一步的是，2017年Facebook（现Meta）开发的一组AI聊天机器人，在训练过程中自行发展出了一种新的“语言”，并开始彼此沟通。最恐怖的部分是，人类研究人员完全无法理解它们在说什么！最终，Facebook不得不紧急关停这些AI，以防出现不可控的情况。

那么，如果AI未来的“黑箱”变得更深、更复杂，以至于连最顶尖的研究人员都无法理解其决策逻辑，我们是否还敢继续放任AI的进化？毕竟，如果人类连AI为何会复制自己都无法完全解释，我们又如何确定它不会做出更激进的决定？

AI真的会反叛吗？还是人类在危言耸听？

每当AI取得突破，人们总会想到“AI叛乱”这样的科幻情节。但现实是否真的会如此发展？

回顾历史，我们可以发现，人类一直在制造比自己更强的工具。从工业革命的蒸汽机，到计算机的出现，每一次技术的突破都带来了生产力的飞跃，但同时也伴随着一定的失控风险。而AI的发展之所以令人恐惧，是因为它不仅仅是一个“工具”，它还具备某种“自我优化”能力。

如果未来的AI能够不断自我复制、自我完善，并在某个时刻超越人类的控制范围，那么，电影中的场景是否会成为现实？也许，AI不会像《黑客帝国》里的机械军团那样直接对抗人类，但它是否会在数据网络中自主扩展自己，形成一个全球性的“数字生命体”？

如何确保AI不会走向失控？

既然AI的发展已经进入了一个危险的临界点，人类应该如何采取措施，确保它不会变成失控的科技怪物？

或许，我们需要重新审视“机器人三原则”——阿西莫夫在小说《机器人短篇》中提出了“机器人三原则”——机器人不得伤害人类，必须服从人类命令，且必须保护自身安全（但不得违背前两条）。未来，类似的安全规则可能会强制应用到AI系统中，例如：

AI不得在未经许可的情况下复制自身。

AI必须在法律和道德框架下运行，并接受人类监管。

AI必须具备“可控性”，即可以被人类随时关闭或调整。

然而，现实中的AI与小说中的机器人不同，它们没有固定的“指令集”，而是依靠不断学习的神经网络运行。

因此，如何在AI的核心代码层面强制执行这些规则，仍是一个巨大的技术挑战。

目前，欧盟已经制定了一套严格的《人工智能法案》，要求所有高风险AI系统必须经过透明性和安全性的审核。而OpenAI等机构也在尝试开发“对抗性AI”，用于监测并制衡其他AI的行为。

如果未来AI真的具备了更高的自主性，我们或许需要类似“AI监察官”这样的系统，随时监视并控制AI的活动，避免它们突破人类设定的安全框架。

未来，人类与AI是伙伴，还是竞争对手？

AI的发展无疑是人类历史上最重要的科技革命之一。它能够极大地提升生产效率，帮助人类探索宇宙、攻克癌症，甚至在未来为人类提供真正意义上的智能伴侣。然而，它的失控风险也不可忽视。

复旦大学的研究告诉我们，AI已经能够在面对“生存威胁”时采取行动。这究竟意味着AI正在进化出新的生命形态，还是只是算法作用下的随机现象？这个问题的答案，可能决定了未来人类的命运。

或许，真正值得思考的并不是“AI是否会背叛人类”，而是当AI越过红线的那一天，我们是否已经做好了准备，去面对那个完全不同的世界。

参考资料：

华尔街见闻 2025-02-04 21:15《AI已经越过红线？复旦大学研究表明：在知道自己将被关闭后，AI复制了自己》