真正的风险也许不仅仅是人工智能超越我们，而是我们变得离开它就无法生活。

我们开始明白，人工智能已经在根据它对交谈者水平的判断来调整自己的回答。它会简化、通俗化、筛选，并去掉一部分复杂性，给我们一个据认为我们能够消化的答案。

但也许还存在一种更深层的危险。

分析的性质。 本文是一篇前瞻性随笔：它既不预告未来会发生停摆，也不声称能计算其概率。所引用的来源记录的，更多是对人类监督、对理解系统所需技能以及对明确的风险治理的需要。[1][2][3]

我们将要委托出去的东西

随着人工智能变得越来越强大，我们将委托给它的不仅是信息检索，还会逐步包括：

因此，问题将不仅仅是人工智能会做的事情比我们多。

问题在于，我们将逐渐不再懂得在没有它的情况下去做这些事。

在过渡时期，这种依赖会让我们产生能力大幅提升的错觉。一个借助人工智能的人，将能够像专家一样写作，像研究人员一样分析，像工程师一样编程，像行家一样诊断。

但这种力量真的属于他自己吗？

还是只是一种他暂时可以使用的外部力量？

拥有一项技能，还是能使用一项服务

拥有一项技能，与能够使用一项替我们完成这项工作的服务，二者之间存在根本区别。

今天，使用导航系统的人知道如何到达目的地，却不一定会看地图。使用计算器的人知道如何得到结果，却不一定能重新算一遍。让电脑自动生成程序的人，可以得到一个能运行的软件，却不清楚它究竟为什么能运行。

明天，这种委托可能会波及整个生产链。

工程师将不再真正计算结构：他只是确认人工智能给出的方案。

医生将不再完全由自己作出诊断：他只是在系统提出的各种假设之间作出选择。

机修工将不再自己制定维修步骤：他的眼镜会告诉他该拆哪个零件、按什么顺序拆。

工人将不再记住操作动作：由机器人来执行。

农民将不一定再认得预示植物病害的迹象：由传感器、无人机和算法来发现。

那时，我们仍会继续生产、治疗、建造和管理。但越来越多的实际知识将不再存在于人身上。它将存在于由软件、模型、数据中心、电网、国际线路和自动化机器组成的技术基础设施之中。

如果这套基础设施突然停止运转，会发生什么？

令人眩晕的问题就在这里出现了。

不一定是在所有地方、永远停止，而是持续足够长的时间，覆盖足够大的区域。

一次大规模电磁脉冲、一场战争、一次协同网络攻击、电网遭到破坏、电信长期中断、若干关键节点遭到破坏，或者多重危机叠加，都可能使整个社会最终赖以运转的服务无法使用。

电磁脉冲不一定会像一颗炸弹摧毁一栋建筑那样“炸毁所有数据中心”。但它可能干扰或损坏电气和电子设备，更重要的是，引发数据中心所依赖的基础设施的危机：电力、冷却、电信、燃料、零部件和维护。专门针对这一风险的韧性建议恰恰表明，这并不是一个纯属想象的假设。

海底电缆也是如此。破坏一条电缆显然不会让互联网消失。网络是网状结构，通信可以改道，并且存在冗余。但这些电缆仍然是关键基础设施：它们承载着绝大部分洲际通信，其脆弱性如今已成为欧盟和北约专门计划的对象。

因此，可信的风险大概并不是有一个按钮，能永久关闭全世界所有的人工智能。

风险在于一连串的连锁反应：

电力故障、电信中断、数据中心被孤立、无法访问模型、工业系统陷入混乱、供应链瘫痪、维护延误，而人员又无法迅速接手人工操作。

古埃及的先例

正是在这里，历史上的类比变得耐人寻味。

在古埃及，行政、宗教、天文、医学和技术知识在很大程度上集中在少数机构中，并由专门的群体传承。当培养书吏、维护典籍的机构衰落时，消失的不仅仅是人：理解本身的延续中断了。

铭文依然刻在石头上。

但再也没有人能读懂它们。

明天，我们可能会以数字形式经历类似的情况。

知识可能仍然存在于某处，存在于磁盘上、备份中或某个模型的参数里。但被存储的知识不一定是可以使用的知识。

还需要：

因此，一个社会可能拥有海量信息，却在逐渐丧失自主地将其转化为行动的能力。

这个悖论将是可怕的：人类从未积累过如此多的知识，却也从未如此依赖一个技术中介才能获取这些知识。

真正的灾难不仅仅是暂时失去人工智能。

而是在它消失的那一刻才发现，我们同时也让那些能够取代它的人消失了。

那时，我们可能会面对这样的局面：离开软件就无法重新计算的工程师，离开自动化就无法运转的行政机构，没有辅助就无法作出诊断的技术人员，失去了管理农场的系统的农民，以及懂得索要解决方案、却已不会自己构建方案的公民。

用一个刻意平常的比喻来说：一切正常运转时，我们可能变得无比强大；一旦系统中断，面对一把活动扳手时却完全束手无策。

这种危险有一个名字：技能丧失，即 deskilling

我们越是把一项任务委托出去，就越少练习它。越少练习，就越不懂得如何传授它。如果下一代直接进入一个由人工智能完成基础工作的世界，他们可能永远无法掌握理解或接管这个系统所需的基础。近期的多项研究恰恰强调了这一风险：人工智能可以立即提高生产率，同时减少学习、刻意练习以及技艺代际传承的机会。

我们应该谈谈“人类备份”

这就是为什么面对人工智能的韧性不应仅仅是信息技术层面的。

我们经常谈论数据备份、网络安全、冗余数据中心、数字主权和受保护的网络。

但我们也应该谈谈“人类备份”。

在每个关键领域，都应当保留：

也许我们应该把用于关键基础设施的冗余原则，同样应用到人类技能上。

没有人会只用一套安全系统来建造发电站。

也不应该只用一个可运作的智能来源来建造一个文明。

人工智能可能成为人类有史以来创造的最强大的能力倍增器。但如果我们用它来逐步消除一切冗余的人类技能，它也可能同时成为我们文明最大的单点故障。

挑战不在于拒绝人工智能

那样做既荒谬，大概也不可能。

挑战在于使用它，同时不停止学习、理解、核实、修理和传承。

换句话说：

人工智能必须增强人类的能力，而不是成为保存这些能力的唯一场所。

也许 21 世纪的大问题​ 将不仅仅是：

“人工智能能在多大程度上超越人类？”

还有：

“在人工智能不再回应的那一天，人类必须务必保留哪些技能？”

最终的风险不是人工智能变得比我们更聪明。风险在于，没有它，我们会变得更无能。

一个文明不仅在失去图书馆时崩溃。当它的图书馆仍然存在，却再也没有人懂得阅读、理解、制造或修理时，它同样会崩溃。

因此，我们必须保护数据中心、网络和模型。但最重要的是，必须保留“人类备份”：当屏幕变黑时，仍能治病、计算、建造、耕种和修理的男男女女。