真正的风险，也许不仅在于人工智能超越我们，而在于我们变得离开它就无法生活。

我们开始明白，人工智能已经在根据它对交谈者水平的判断来调整回答。它简化、通俗化、筛选并去除一部分复杂性，以便给出一个我们被认为能够消化的答案。

但也许还存在一种更深层的危险。

我们将要委托的事情

随着人工智能越来越强大，我们将不仅把信息检索交给它，还会逐步交出：

因此，问题将不仅仅是人工智能会做的事情比我们多。

问题将是，我们会逐渐不再懂得在没有它的情况下去做这些事。

在过渡时期，这种依赖会给我们一种能力大幅提升的错觉。一个由人工智能辅助的人，可以像专家一样写作，像研究者一样分析，像工程师一样编程，像行家一样诊断。

但这种能力真的属于他自己吗？

还是只是一种他暂时可以调用的外部力量？

拥有一项能力，还是使用一项服务

拥有一项能力，与拥有一个能替我们执行这项能力的服务，两者之间存在根本区别。

今天，使用导航系统的人知道如何到达目的地，却不一定会看地图。使用计算器的人知道如何得到结果，却不总是能自己重新演算。让机器生成计算机程序的人，可以得到一个能运行的软件，却未必确切理解它为什么能运行。

明天，这种委托可能波及整条生产链。

工程师将不再真正计算结构：他将只是审核人工智能的方案。

医生将不再完整地构建诊断：他将在系统给出的假设之间做裁决。

机械师将不再自己制定维修流程：他的眼镜会告诉他先拆哪个零件、按什么顺序。

工人将不再记忆操作动作：机器人会替他执行。

农民将不再必然认得植物病害的征兆：传感器、无人机和算法会替他发现。

那时我们仍将继续生产、治疗、建造和管理。但有效知识中越来越大的一部分将不再存在于人类身上，而是存在于一套由软件、模型、数据中心、电网、国际链路和自动化机器组成的技术基础设施之中。

如果这套基础设施突然停止运转，会发生什么？

正是在这里，一个令人眩晕的问题浮现出来。

不一定是在所有地方、也不一定是永远，但只要时间足够长、范围足够大。

一次大规模电磁脉冲、一场战争、一次协同网络攻击、电网被破坏、电信长期中断、多个关键节点遭到破坏，或多重危机叠加，都可能让整个社会最终赖以运转的服务变得无法访问。

电磁脉冲未必会像一枚炸弹摧毁一栋建筑那样“炸毁所有数据中心”。但它可能扰乱或损坏电气与电子设备，尤其可能引发数据中心所依赖的基础设施危机：电力、冷却、电信、燃料、零部件和维护。针对这一风险的韧性建议恰恰表明，这并不是纯粹想象出来的假设。

海底电缆同理。切断一条电缆显然不会让互联网消失。网络是网状的，通信可以改道，冗余是存在的。但这些电缆仍属于关键基础设施：它们承载着绝大多数洲际通信，其脆弱性如今已成为欧盟和北约专项预案的对象。

因此，可信的风险大概不是有一个按钮能把全球人工智能彻底关掉。

风险在于连锁反应：

电力失灵、电信中断、数据中心被孤立、模型无法访问、工业系统紊乱、物流链瘫痪、维护延误，而人类员工无法迅速恢复手动操作。

古埃及的先例

正是在这里，历史的对照变得耐人寻味。

在古埃及，行政、宗教、天文、医学和技术知识大量集中在少数机构之中，由专门的群体负责传承。当培养书吏、维护文本的结构衰落时，消失的不仅仅是人：被打断的是理解本身的延续性。

铭文仍然刻在石头上。

但再也没有人能读懂它们。

明天，我们可能以数字形式经历类似的处境。

知识也许仍然存在于某处：在磁盘上、在备份里、在某个模型的参数中。但储存起来的知识，未必是可用的知识。

还需要：

因此，一个社会可以拥有海量信息，却在此过程中逐渐失去把信息自主转化为行动的能力。

这个悖论将是可怕的：人类从未积累过如此多的知识，却也从未如此依赖一个技术中介才能触及这些知识。

真正的灾难，不仅仅是人工智能的暂时消失。

而是在它消失的那一刻发现：我们同时也让那些有能力取代它的人消失了。

到那时，我们可能面对的是：离开软件就无法重新计算的工程师，离开自动化就无法运转的行政机构，离开辅助就无法给出诊断的技术员，失去农场管理系统的农民，以及会提出问题、却不再会构建答案的公民。

用一个刻意平凡的比喻：当一切正常时，我们可能强大得非同寻常；而当系统中断时，我们可能握着一把活动扳手却束手无策。

这种危险有一个名字：能力的丧失，即 deskilling

我们越是委托一项任务，就越少练习它。越少练习，就越不懂得传授。而如果下一代直接进入一个由人工智能完成基础工作的世界，他们可能永远无法打下理解系统、接管系统所需的根基。多项近期研究恰恰强调了这一风险：人工智能可以立刻提高生产率，却同时减少学习、刻意练习和技能代际传承的机会。

我们也应该谈谈人类备份

正因如此，面对人工智能的韧性不应只是信息层面的。

我们谈论了很多备份、网络安全、冗余数据中心、数字主权和受保护的网络。

但我们也应该谈谈人类备份。

在每一个关键领域，都应当保留：

也许我们应该把用于关键基础设施的冗余原则，同样应用到人类能力上。

没有人会只用一套安全系统去建造一座发电站。

也不应该只靠一个可运转的智能来源去支撑一个文明。

人工智能可能成为人类有史以来最强大的能力倍增器。但如果我们用它来逐步取消一切冗余的人类能力，它也可能同时成为我们最大的文明级单点故障。

挑战不在于拒绝人工智能

那既荒谬，也几乎不可能。

挑战在于使用它的同时，不停止学习、理解、验证、修理和传承。

换句话说：

人工智能应当增强人类的能力，而不是成为这些能力唯一的存放之处。

也许，二十一世纪的大哉问不只是：

“人工智能究竟能在多大程度上超越人类？”

还包括：

“当人工智能不再应答的那一天，人类必须保留哪些能力？”

终极风险不是人工智能变得比我们聪明，而是没有它，我们变得更无能。

一个文明的崩塌，不只发生在它失去图书馆的时候。当它的图书馆仍在，却再没有人会阅读、理解、制造或修理时，它同样会崩塌。

所以，我们要保护数据中心、网络和模型。但更要保留“人类备份”：当屏幕熄灭时，仍然能够治病、计算、建造、耕种和修理的男男女女。