四万字长文带你了解为什么超级大佬们都如此警惕人工智能？Ilya到底在害怕什么？

最近OpenAI的宫斗，OpenAI首席科学家Ilya一脚将奥特曼踢出局。在吃瓜之余，引发了一群大佬们关于AI安全的辩论。

马斯克说的非常准确，Ilya一定是是看到了什么，才如此激进。

而这，大概率是关于人工智能的安全性问题。

这让我想起了我在15年读的一篇关于人工智能的文章，将近9年过去了，依然让我常看常新。是曾经对我自己认知冲击最大的文章之一。

知乎的大佬@谢熊猫君其实9年前已经做好了翻译，但是我私信了半个月，一直没回，所以没拿到转载授权，但是又很想发给大家看看。索性在这个时点，我就自己去原网站买了原文的PDF，然后用GPT翻译完了（当然还是有小部分精华是借用的知乎大佬的，毕竟那个“吓尿”的翻译太精髓）。

这篇文章写于15年1月22号，近4万字，读起来可能会比较累，但是我觉得这篇东西非常有价值。希望你们能够耐心读完，读不完也可以收藏慢慢读，读完后也许你的世界观都会被改变。

人工智能很可能导致人类的永生或者灭绝，而这一切很可能在我们的有生之年发生。

我们正处于变革的边缘，其程度堪比地球上人类生命的崛起 — Vernor Vinge

站在这⾥感觉如何？

站在这里似乎很紧张，但你必须记住站在时间图上的感觉：你看不到右边有什么。所以，这才是站在这里的真实感受：

这可能感觉很正常......

 遥远的未来 - 即将到来 

想象一下坐时间机器回到1750年的地球，那个时代没有电，畅通通讯基本靠吼，交通主要靠动物拉着跑。你在那个时代邀请了一个叫老王的人到2015年来玩，顺便看看他对“未来”有什么感受。我们可能没有办法了解1750年的老王内心的感受——金属铁壳在宽敞的公路上飞驰，和太平洋另一头的人聊天，看几千公里外正在发生进行的体育比赛，观看一场发生于半个世纪前的演唱会，从口袋里掏出一个黑色长方形工具把眼前发生的事情记录下来，生成一个地图然后地图上有个蓝点告诉你现在的位置，一边看着地球另一边的人的脸一边聊天，以及其它各种各样的黑科技。别忘了，你还没跟他解释互联网、国际空间站、大型强子对撞机、核武器以及相对论。

这时候的老王会是什么体验？惊讶、震惊、脑洞大开这些词都太温顺了，我觉得老王很可能直接被吓尿了。

但是，如果老王回到了1750年，然后觉得被吓尿是个很囧的体验，于是他也想把别人吓尿来满足一下自己，那会发生什么？于是老王也回到了250年前的1500年，邀请生活在1500年的小李去1750年玩一下。小李可能会被250年后的很多东西震惊，但是至少他不会被吓尿。同样是250来年的时间，1750和2015年的差别，比1500年和1750年的差别，要大得多了。1500年的小李可能能学到很多神奇的物理知识，可能会惊讶于欧洲的帝国主义旅程，甚至对于世界地图的认知也会大大的改变，但是1500年的小李，看到1750年的交通、通讯等等，并不会被吓尿。

所以说，对于1750年的老王来说，要把人吓尿，他需要回到更古老的过去——比如回到公元前12000年，第一次农业革命之前。那个时候还没有城市，也还没有文明。一个来自狩猎采集时代的人类，只是当时众多物种中的一个罢了，来自那个时代的小赵看到1750年庞大的人类帝国，可以航行于海洋上的巨舰，居住在“室内”，无数的收藏品，神奇的知识和发现——他很有可能被吓尿。

小赵被吓尿后如果也想做同样的事情呢？如果他会到公元前24000年，找到那个时代的小钱，然后给他展示公元前12000年的生活会怎样呢。小钱大概会觉得小赵是吃饱了没事干——“这不跟我的生活差不多么，呵呵”。小赵如果要把人吓尿，可能要回到十万年前或者更久，然后用人类对火和语言的掌控来把对方吓尿。

所以，一个人去到未来，并且被吓尿，他们需要满足一个“吓尿单位”。满足吓尿单位所需的年代间隔是不一样的。在狩猎采集时代满足一个吓尿单位需要超过十万年，而工业革命后一个吓尿单位只要两百多年就能满足。

所以，一个人去到未来，并且被吓尿，他们需要满足一个“吓尿单位”。满足吓尿单位所需的年代间隔是不一样的。在狩猎采集时代满足一个吓尿单位需要超过十万年，而工业革命后一个吓尿单位只要两百多年就能满足。

未来学家雷-库兹韦尔（Ray Kurzweil）将人类历史的这种模式称为 "加速回报定律"（Law of Accelerating Returns）。之所以会出现这种情况，是因为更先进的社会有能力以比不那么先进的社会更快的速度取得进步--因为它们更先进。19 世纪的人类比 15 世纪的人类懂得更多，拥有更好的技术，因此，人类在 19 世纪取得的进步远远超过 15 世纪也就不足为奇了--15 世纪的人类根本无法与 19 世纪的人类相提并论。

这在较小的范围内也适用。电影《回到未来》于 1985 年上映，而 "过去 "发生在 1955 年。在电影中，当迈克尔-J-福克斯回到 1955 年时，他对电视机的新颖性、汽水的价格、对尖锐电吉他的不爱以及俚语的变化感到措手不及。这的确是一个不同的世界，但如果这部电影是在今天拍摄的，而过去发生在 1985 年，那么这部电影就会有更多的乐趣和更大的不同。角色所处的时代还没有个人电脑、互联网或手机--今天的马蒂-麦克弗莱，一个出生于 90 年代末的青少年，在 1985 年会比电影中的马蒂-麦克弗莱在 1955 年更加格格不入。

这与我们刚才讨论的原因相同--加速回报定律。1985 年至 2015 年期间的平均发展速度高于 1955 年至 1985 年期间的发展速度--因为前者是一个更先进的世界--所以最近 30 年发生的变化要比前 30 年大得多。

所以--进步越来越大，发生得越来越快。这预示着我们的未来会发生一些非常激烈的事情，对吗？

库兹韦尔认为，按照 2000 年的发展速度，整个 20 世纪的进步只需要 20 年就能实现，换句话说，到 2000 年，进步的速度是 20 世纪平均进步速度的五倍。他认为，从 2000 年到 2014 年，人类又经历了一个 20 世纪的进步，而到 2021 年，只需 7 年时间，人类又将经历一个 20 世纪的进步。几十年后，他认为 20 世纪的进步将在同一年多次发生，甚至更晚，在不到一个月的时间里。总而言之，由于 "加速回报定律"，库兹韦尔认为 21 世纪的进步将是 20 世纪的 1000 倍。

如果库兹韦尔等人的想法是正确的，那2030年的世界可能就能把我们吓尿了——下一个吓尿单位可能只需要十几年，而2050年的世界会变得面目全非。

这不是科幻小说。这是许多比你我更聪明、更博学的科学家所坚信的，而且如果你回顾历史，这也是我们在逻辑上应该预测的。

那么，当你听到我说 "35 年后的世界可能会面目全非 "这样的话时，你为什么会想："酷....but nahhhhhhh"？我们对离奇的未来预测持怀疑态度的三个原因：

1. 我们对于历史的思考是线性的。当我们考虑未来35年的变化时，我们参照的是过去35年发生的事情。当我们考虑21世纪能产生的变化的时候，我们参考的是20世纪发生的变化。这就好像1750年的老王觉得1500年的小李在1750年能被吓尿一样。线性思考是本能的，但是但是考虑未来的时候我们应该指数地思考。一个聪明人不会把过去35年的发展作为未来35年的参考，而是会看到当下的发展速度，这样预测的会更准确一点。当然这样还是不够准确，想要更准确，你要想象发展的速度会越来越快。

2.最近的历史轨迹往往讲述了一个扭曲的故事。首先，即使是陡峭的指数曲线，当你只看它的一小部分时，它看起来也是线性的，就像你近距离观察一个巨大圆圈的一小段时，它看起来几乎像一条直线一样。其次，指数增长并不是完全平滑均匀的。库兹韦尔解释说，进步是以 "S 曲线 "的形式出现的：

当一种新的范式席卷全球时，进步的浪潮就会创造出 S 型曲线。曲线会经历三个阶段：

1). 缓慢增长（指数增长的早期阶段）

2). 快速增长（指数增长后期的爆发阶段）

3). 随着特定范式的成熟而趋于平稳

如果你只看最近的历史，那么你目前所处的 S 曲线部分可能会模糊你对事物发展速度的感知。1995 年至 2007 年间，互联网蓬勃发展，微软、谷歌和 Facebook 进入公众视野，社交网络诞生，手机和智能手机相继问世。但从 2008 年到 2015 年，至少在技术方面没有那么具有突破性。今天思考未来的人可能会研究过去几年来衡量当前的发展速度，但这并不全面。事实上，一个新的、巨大的第二阶段增长高峰可能正在酝酿之中。

3. 我们自己的经验使我们成为对未来固执己见的老人。我们对世界的看法基于我们的个人经验，而这种经验在我们的头脑中已经根深蒂固地将近期的增长速度视为 "事情发生的方式"。我们的想象力也受到了限制，它将我们的经验用于对未来的预测--但通常情况下，我们所知道的根本无法为我们提供准确思考未来的工具。当我们听到一个关于未来的预测与我们基于经验的事物运作概念相矛盾时，我们的直觉是这个预测一定是幼稚的。如果我在这篇文章的后面告诉你，你可能会活到 150 岁，或者 250 岁，或者根本不会死，你的直觉会是："那太愚蠢了--如果我从历史中知道一件事的话，那就是每个人都会死"。是的，过去没有人不死。但在飞机发明之前，也没有人驾驶过飞机。

因此，当你读到这篇文章时，也许会觉得 "不对"，但实际上可能是错的。事实上，如果我们真正符合逻辑，并期望历史模式得以延续，我们就应该得出这样的结论：未来几十年的变化应该比我们直观预期的要大得多、多得多、多得多。逻辑还表明，如果一个星球上最先进的物种不断以越来越快的速度向前跃进，那么到了某个时候，它们就会实现巨大的飞跃，从而彻底改变它们所熟知的生活，以及它们对人类的认知--这就有点像进化论如何不断向智能化迈进，直到最终实现人类的巨大飞跃，从而彻底改变任何生物在地球上生活的意义。如果你花一些时间阅读当今的科技发展，你会发现很多迹象都在悄悄地暗示，我们目前所知的生命无法承受接下来的飞跃。

 什么是人工智能 

如果你和我一样，曾经认为人工智能是一个愚蠢的科幻概念，但最近你听到一些严肃的人提到它，你就真的不太明白了。

很多人对人工智能一词感到困惑有三个原因：

1) 我们将人工智能与电影联系在一起。《星球大战》，《终结者2001：太空漫游》。甚至是《杰逊一家》。这些都是虚构的，机器人角色也是。所以在我们听来，人工智能有点虚构。

2) 人工智能是一个广泛的话题。从手机的计算器到自动驾驶汽车，再到未来可能彻底改变世界的事物。人工智能指的是所有这些东西，这让人感到困惑。

3) 我们在日常生活中无时无刻不在使用人工智能，但我们往往意识不到它就是人工智能。1956 年创造了 "人工智能 "一词的约翰-麦卡锡曾抱怨说："一旦人工智能成功了，就没人再叫它人工智能了。"4 正因为这种现象，人工智能听起来往往更像是一种神话般的未来预测，而不是现实。同时，这也让它听起来像是一个从未实现的流行概念。雷-库兹韦尔（Ray Kurzweil）说，他听到有人说人工智能在 20 世纪 80 年代就已经枯萎了，他把这种说法比作 "坚持认为互联网在 21 世纪初互联网泡沫破灭时就已经消亡了 "

所以，让我们把事情弄清楚。首先，不要再想机器人了。机器人是人工智能的容器，有时模仿人形，有时不模仿人形，但人工智能本身就是机器人内部的计算机。人工智能是大脑，机器人是它的身体--如果它有身体的话。例如，Siri 背后的软件和数据就是人工智能，我们听到的女人的声音就是人工智能的化身，根本不涉及机器人。

其次，你可能听说过 "奇点 "或 "技术奇点 "这个词。这个词在数学中被用来描述一种类似渐近线的情况，在这种情况下，正常规则不再适用。在物理学中，它被用来描述一种现象，比如一个无限小的致密黑洞，或者宇宙大爆炸前我们被挤压到的那个点。同样，这也是常规规则不再适用的情况。1993 年，弗农-文格尔（Vernor Vinge）写了一篇著名的文章，他在文中把这个词用于未来科技的智能超过我们自身的那一刻--对他来说，那一刻我们所知的生活将永远改变，常规规则将不再适用。然后，雷-库兹韦尔又把奇点定义为 "加速回报定律 "达到极致，技术进步的速度似乎是无限的，在这之后，我们将生活在一个全新的世界。我发现，当今许多人工智能思想家已经不再使用这个词，而且这个词很容易让人混淆，所以我在这里就不多说了（尽管我们自始至终都会关注这个观点）。

最后，由于人工智能是一个宽泛的概念，因此有许多不同类型或形式的人工智能，但我们需要考虑的关键类别是基于人工智能的口径。人工智能的口径有三大类别：

狭义人工智能（ANI）：狭义人工智能有时被称为弱人工智能，是指专门从事某一领域的人工智能。有的人工智能能在国际象棋中击败世界冠军，但这是它唯一会做的事情。如果让它找出更好的方法在硬盘上存储数据，它只会茫然地看着你。

通用人工智能（AGI）：通用人工智能（Artificial General Intelligence）有时也被称为强人工智能（Strong AI）或人类级别的人工智能（Human-Level AI），指的是一台在各方面都与人类一样聪明的计算机--一台可以完成人类所能完成的任何智力任务的机器。创造 AGI 比创造 ANI 要难得多，而且我们还没有做到。琳达-戈特弗里德森教授将智能描述为 "一种非常普遍的心理能力，其中包括推理、计划、解决问题、抽象思维、理解复杂想法、快速学习和从经验中学习的能力"。AGI 能够像你一样轻松地完成所有这些事情。

超级人工智能（ASI）：牛津大学哲学家、著名人工智能思想家尼克-博斯特罗姆（Nick Bostrom）将超级智能定义为 "一种在几乎所有领域都比最好的人类大脑聪明得多的智力，包括科学创造力、一般智慧和社交技能"。超级人工智能的范围很广，从只比人类聪明一点点的计算机到比人类聪明数万亿倍的计算机，无所不包。人工智能是人工智能话题如此火辣的原因，也是 "永生 "和 "灭绝 "这两个词会在这些文章中多次出现的原因。

到目前为止，人类已经在很多方面征服了人工智能的最低标准--ANI，而且它无处不在。人工智能革命是一条从弱人工智能（ANI），到通用人工智能（AGI），再到超级人工智能（ASI）的道路，这条道路我们可能走得通，也可能走不通，但无论如何，它都将改变一切。

让我们仔细看看该领域的领军思想家认为这条道路是什么样的，以及为什么这场革命可能会比你想象的更快发生：

 我们的现状--依靠弱人工智能运行的世界 

人工智能（Artificial Narrow Intelligence）是指在某一特定事物上等同或超过人类智能或效率的机器智能。举几个例子：

• 从计算防抱死刹车何时启动的计算机，到调整燃油喷射系统参数的计算机，汽车中到处都有自动识别系统。谷歌正在测试的自动驾驶汽车将包含强大的自动识别系统，使其能够感知周围的世界并做出反应。

• 你的手机就是一个小小的 ANI 工厂。当你使用地图应用导航、接收 Pandora 为你量身定制的音乐推荐、查看明天的天气、与 Siri 交谈或进行其他数十种日常活动时，你都在使用 ANI。

• 您的电子邮件垃圾邮件过滤器就是一个典型的 ANI 类型--它一开始就具备如何识别垃圾邮件和非垃圾邮件的智能，然后它会根据您的特殊偏好来学习和调整智能。Nest 恒温器也是这样，它开始了解你的日常习惯，并采取相应的行动。

• 你知道当你在亚马逊上搜索一个产品，然后在另一个网站上看到 "为你推荐 "的产品，或者当 Facebook 知道你应该加谁为好友时，会发生什么令人毛骨悚然的事情吗？这就是一个由 ANI 系统组成的网络，它们相互协作，相互告知你是谁，你喜欢什么，然后利用这些信息来决定向你展示什么。亚马逊的 "买过这个的人还买过...... "也是一样，这就是一个 ANI 系统，它的工作就是从数百万顾客的行为中收集信息，然后综合这些信息，巧妙地向你推销，让你买更多的东西。

• 谷歌翻译是另一个经典的人工智能系统--在一项狭窄的任务上表现出色。语音识别是另一种，有许多应用程序将这两种自动识别系统作为一个标签团队，让你用一种语言说一句话，手机就能用另一种语言吐出同样的句子。

• 当你的飞机降落时，决定它应该飞往哪个登机口的不是人类。就像不是人类决定你的机票价格一样。

• 现在，世界上最好的跳棋、国际象棋、拼字游戏、西洋双陆棋和黑白棋玩家都是 ANI 系统的玩家。

• 谷歌搜索就是一个庞大的 ANI 大脑，它拥有令人难以置信的复杂方法来对网页进行排序，并找出要向你展示的特定内容。Facebook 的 Newsfeed 也是如此。

• 而这仅仅是在消费领域。先进的人工智能系统被广泛应用于军事、制造和金融等领域和行业（算法高频人工智能交易商占美国市场股票交易的一半以上），以及专家系统，如帮助医生进行诊断的专家系统，最著名的是IBM的沃森，它包含足够多的事实，并能很好地理解特雷贝克的腼腆言语，足以击败最多产的 "危险"（Jeopardy）冠军。

现在的人工智能系统并不特别可怕。在最坏的情况下，一个故障或程序错误的自动识别系统可能会造成孤立的灾难，比如导致电网瘫痪、造成有害的核电站故障，或者引发金融市场灾难（比如 2010 年的闪电崩盘，当时一个自动识别系统程序对突发情况做出了错误的反应，导致股市短暂暴跌，并带走了 1 万亿美元的市值，只有部分市值在错误被纠正后才得以恢复）。

虽然人工智能并不具备造成生存威胁的能力，但我们应该把这个日益庞大和复杂的、相对无害的人工智能生态系统看作是即将到来的改变世界的飓风的前兆。每一项新的人工智能创新都在通往 AGI 和 ASI 的道路上悄然添砖加瓦。或者正如亚伦-萨恩兹（Aaron Saenz）所言，我们世界的人工智能系统 "就像地球早期原始泥浆中的氨基酸"--无生命的生命之源，在某一天意外地苏醒了。

 从 ANI 到 AGI 的道路 

一. 为什么这么难

没有什么比了解创造一台和我们一样聪明的计算机是多么令人难以置信的挑战，更能让你欣赏人类的智慧了。建造摩天大楼、将人类送入太空、弄清宇宙大爆炸的细节--所有这些都比了解我们自己的大脑或如何制造像它一样酷的东西要容易得多。到目前为止，人类大脑是已知宇宙中最复杂的物体。

有趣的是，试图构建 AGI（与人类一样聪明的计算机，而不仅仅是在某一狭窄的专业领域）的难点并不像你直观想象的那样。制造一台能在一瞬间将两个十位数相乘的计算机简直易如反掌。制造一台能看到一只狗并回答它是狗还是猫的计算机--非常困难。制造一台能在国际象棋中击败任何人类的人工智能？没问题。制造一个能从一个六岁孩子的图画书中读出一个段落的人工智能，并且不仅能认出单词，还能理解其中的含义？谷歌目前正斥资数十亿美元试图做到这一点。对计算机来说，微积分、金融市场策略和语言翻译等难事易如反掌，而视觉、运动、移动和感知等容易的事却难得要命。

或者，正如计算机科学家唐纳德-克努特（Donald Knuth）所说："到目前为止，人工智能基本上已经成功地完成了所有需要'思考'的事情，但却无法完成人类和动物'不需要思考'就能完成的大部分事情。"

当你想到这一点时，你很快就会意识到，那些对我们来说看似简单的事情其实复杂得令人难以置信，而它们之所以看似简单，只是因为这些技能已经在我们（以及大多数动物）身上经过数亿年的动物进化而得到了优化。当你把手伸向一个物体时，肩部、肘部和腕部的肌肉、肌腱和骨骼会立即与你的眼睛一起执行一长串物理运算，让你的手在三维空间中直线移动。这对你来说似乎毫不费力，因为你的大脑中已经有了完善的操作软件。同样的道理，当你在网站上注册一个新账户时，恶意软件并不是因为你不懂单词识别测试而变得愚蠢，而是你的大脑因为能够做到这一点而令人印象深刻。

另一方面，对于生物来说，大数乘法或下棋都是全新的活动，我们还没有时间进化出精通这些活动的能力，因此计算机不需要付出太多努力就能打败我们。想想看，你更愿意做哪一件事，是建立一个能进行大数字乘法运算的程序，还是建立一个能很好地理解 "B "的本质的程序，以至于你可以用成千上万种难以预测的字体或笔迹中的任何一种向它展示一个 "B"，它都能立刻知道那是一个 "B"？

举个有趣的例子--当你看到这个图时，你和电脑都能猜出这是一个矩形，有两种不同的色调交替出现：

目前打成平手。但是，如果你拾起黑色，揭示整个图像...

......你可以完整地描述出各种不透明和半透明的圆柱体、板条和三维角落，但计算机会非常失败。它会描述它所看到的东西--多种不同色调的二维形状--这就是实际存在的东西。你的大脑正在做大量花哨的工作，以解读图片试图描绘的隐含深度、色调混合和室内光线。再看下面这张图片，电脑看到的是二维的白、黑、灰拼贴画，而你却很容易看出它的真面目--一张全黑的三维岩石照片：

而我们刚才提到的一切，仍然只是接收和处理停滞不前的信息。要达到人类的智能水平，计算机就必须理解一些事情，比如微妙的面部表情之间的区别，高兴、放心、满足、满意和高兴之间的区别，以及为什么《勇敢的心》很棒而《爱国者》很糟糕。

想想就很难。

那么，我们如何到达那里呢？

二. 创建 AGI 的第一把钥匙：提高计算能力

要让人工智能成为可能，有一件事肯定需要发生，那就是计算机硬件能力的提升。如果人工智能系统要像大脑一样智能，它就需要与大脑的原始计算能力相当。

表示这种能力的一种方法是大脑每秒可以处理的总运算量（cps），你可以计算出大脑中每个结构的最大运算量，然后把它们加在一起，就可以得出这个数字。

雷-库兹韦尔（Ray Kurzweil）想出了一个捷径，他从专业角度估算出一个结构的 cps 值，并将该结构的重量与整个大脑的重量进行比较，然后按比例相乘，得出估算的总值。听起来有点不靠谱，但他用不同区域的各种专业估计值做了很多次，得出的总数总是在同一个范围内--大约 10 16 ，或 10 quadrillion cps。

目前，世界上最快的超级计算机--中国的 "天河二号 "实际上已经超过了这一数字，达到了约 34 兆 cps。但 "天河二号 "也很 "屌"，占地 720 平方米，耗电 24 兆瓦（大脑仅需 20 瓦），造价 3.9 亿美元。它并不特别适用于广泛应用，甚至还不适用于大多数商业或工业用途。

库兹韦尔建议，我们在思考计算机的发展状况时，可以看看 1000 美元能买到多少 cps。当这个数字达到人类水平--10 夸亿 cps 时，就意味着 AGI 将成为生活中非常现实的一部分。

摩尔定律是一条历史上可靠的规则，即全球最大计算能力大约每两年翻一番，这意味着计算机硬件的发展，就像人类历史上的一般进步一样，呈指数级增长。根据库兹韦尔的 cps/$1,000 指标，我们目前的计算能力约为 10 万亿 cps/$1,000，与此图预测的轨迹吻合：

因此，世界上价值 1000 美元的电脑现在正在打败老鼠大脑，它们的水平大约是人类的千分之一。这听起来并不算什么，但如果你记得，1985 年我们的计算机水平约为人类水平的万亿分之一，1995 年为十亿分之一，2005 年为百万分之一。在 2015 年达到千分之一的水平，就意味着我们有望在 2025 年之前实现可与大脑相媲美的廉价计算机。

因此，在硬件方面，AGI 所需的原始计算能力目前在技术上已经可以在中国实现，我们将在 10 年内准备好可负担得起的、广泛应用的 AGI 级硬件。但是，仅凭原始计算能力并不能使计算机普遍实现智能化--下一个问题是，我们如何将人类水平的智能赋予所有这些能力？

三. 创建 AGI 的第二个关键：使其智能化

因此，在硬件方面，AGI 所需的原始计算能力目前在技术上已经可以在中国实现，我们将在 10 年内准备好可负担得起的、广泛应用的 AGI 级硬件。但是，仅凭原始计算能力并不能使计算机普遍实现智能化--下一个问题是，我们如何将人类水平的智能赋予所有这些能力？

1. 剽窃大脑。

这就好比科学家们苦苦思索，课堂上坐在自己旁边的那个孩子怎么那么聪明，考试成绩一直那么好，而自己虽然一直在勤奋学习，却怎么也比不上那个孩子，最后他们决定 "去他妈的，我就抄那个孩子的答案"。这就说得通了--我们正为建造一台超级复杂的计算机而苦恼，而我们每个人的脑袋里恰好都有一台完美的计算机原型。

科学界正在努力对大脑进行逆向工程，以弄清进化是如何造出这样一个神奇的东西的--乐观的估计是，我们可以在 2030 年之前做到这一点。一旦我们做到了这一点，我们就会知道大脑如何如此强大而高效地运行的所有秘密，我们就可以从中汲取灵感，窃取创新成果。人工神经网络就是模仿大脑的计算机架构的一个例子。一开始，它只是一个由晶体管 "神经元 "组成的网络，通过输入和输出相互连接，它什么都不知道，就像一个婴儿的大脑。它的 "学习 "方式是尝试完成一项任务，比如手写识别，一开始，它的神经跳动和随后对每个字母的破译猜测都是完全随机的。但当它被告知猜对了某个答案时，产生该答案的发射通路中的晶体管连接就会加强；当它被告知猜错了时，这些通路的连接就会减弱。经过多次这样的试验和反馈后，网络就会自行形成智能神经通路，机器也会针对任务进行优化。随着我们对大脑的不断研究，我们发现了利用神经回路的巧妙新方法。

更极端的剽窃行为涉及一种名为 "全脑仿真 "的策略，其目标是将真正的大脑切成薄层，扫描每一层，使用软件组装一个精确的重建三维模型，然后在功能强大的计算机上实现该模型。这样，我们就能拥有一台正式的计算机，它能胜任大脑所能胜任的一切--它只需要学习和收集信息。如果工程师们真的很厉害，他们就能精确地模拟出真实的大脑，一旦大脑结构被上传到计算机，大脑的全部个性和记忆都将完好无损。如果这个大脑在吉姆去世前属于他，那么计算机现在就会以吉姆（？）的身份唤醒，这将是一个强大的人类级别的人工智能，我们现在可以努力把吉姆变成一个超乎想象的智能人工智能，他可能会对此感到非常兴奋。

我们离实现全脑仿真还有多远？到目前为止，我们还不能仿真出1毫米长的扁虫大脑，它总共只有302个神经元。而人类的大脑有 1000 亿个神经元。如果这让人觉得这是一项毫无希望的计划，那么请记住指数级进步的力量--既然我们已经征服了小蠕虫的大脑，那么不久之后，蚂蚁可能会出现，接着是小鼠，突然之间，这似乎就变得更有可能了。

2. 模仿生物演化

因此，如果我们认为聪明孩子的考试太难，无法模仿，那么我们可以尝试模仿他的学习方法来代替考试。

我们知道制造一台和大脑一样强大的计算机是可能的--我们自己大脑的进化就是证明。如果大脑过于复杂，我们无法仿真，那么我们可以尝试仿真进化。事实上，即使我们能够模仿大脑，那也可能就像试图通过复制鸟儿拍打翅膀的动作来制造飞机一样--通常情况下，机器的最佳设计是采用一种全新的、以机器为导向的方法，而不是完全模仿生物学。

那么，我们如何模拟进化来构建人工智能呢？这种方法被称为 "遗传算法"，它的工作原理是这样的：有一个重复发生的 "执行-评估 "过程（与生物通过生活 "执行"，并通过是否能够繁衍后代进行 "评估 "的方式相同）。一组计算机将尝试执行任务，最成功的计算机将通过将各自一半的程序合并到一台新计算机中来相互繁殖。不那么成功的计算机将被淘汰。经过多次反复，这种自然选择过程将产生越来越好的计算机。我们面临的挑战是创建一个自动化的评估和培育周期，使这一进化过程能够自行运行。

复制进化论的弊端在于，进化论喜欢用十亿年的时间来做事情，而我们想在几十年内做到这一点。

但与进化论相比，我们有很多优势。首先，进化没有前瞻性，而且是随机进行的--它产生的无益变异多于有益变异，但我们可以控制这一过程，使其只由有益的小毛病和有针对性的调整驱动。其次，进化不以任何东西为目标，包括智力--有时环境甚至会选择性地反对更高的智力（因为它会消耗大量能量）。另一方面，我们可以有针对性地将进化过程导向提高智力。第三，为了选择智能，进化必须在许多其他方面进行创新，以促进智能的发展，比如改进细胞产生能量的方式--当我们可以消除这些额外负担并使用像电这样的东西时。毫无疑问，我们会比进化论快很多很多--但我们是否能在进化论的基础上进行足够的改进，从而使这一策略成为可行的策略，目前还不清楚。

3. 把整件事变成电脑的问题，而不是我们的问题。

这时，科学家们就会不顾一切，试图通过编程让测试自动进行。但这可能是我们目前最有希望的方法。

我们的想法是，我们将制造一台计算机，它的两项主要技能是对人工智能进行研究，并将变化编码到自身中，使其不仅能够学习，还能改进自身架构。我们将教计算机成为计算机科学家，这样它们就能引导自己的发展。这将是它们的主要工作--找出如何让自己变得更聪明。稍后再详述。

这一切可能很快发生。

硬件的飞速发展和软件的创新实验同时进行，AGI 可能会在我们意想不到的情况下迅速崛起，主要原因有两个：

1) 指数式增长十分激烈，看似蜗牛爬行的前进步伐也会迅速加快--这张 GIF 很好地诠释了这一概念：

2) 在软件方面，进步看似缓慢，但一个顿悟就能瞬间改变进步的速度（就像科学在人类认为宇宙是地心说的时候，很难计算出宇宙是如何运转的，但后来发现宇宙是日心说的时候，一切都变得简单多了）。或者，当涉及到计算机自身改进这样的东西时，我们可能看起来离它很遥远，但实际上只需对系统进行一次调整，它就能变得比人类智能高出 1000 倍。

 从 AGI 到 ASI 的道路 

总有一天，我们会实现 AGI--通用人工智能的计算机。就这样，一群人和电脑平等地生活在一起。

但其实一点也不。

拥有与人类同等水平的智能和计算能力的人工智能，与人类相比仍有很大优势。比如。

硬件：

• 速度。大脑神经元的最大速度约为 200 赫兹，而今天的微处理器（比我们实现 AGI 时的速度慢得多）的运行速度为 2 GHz，比我们的神经元快 1000 万倍。而大脑的内部通信速度约为 120 米/秒，与计算机以光速进行光学通信的能力相比，简直是天壤之别。

• 大小和存储。大脑的大小受头盖骨形状的限制，无论如何都不可能变得更大，否则 120 米/秒的内部通信速度从一个大脑结构传递到另一个大脑结构将耗费太长的时间。计算机可以扩展到任何物理尺寸，从而可以使用更多的硬件、更大的工作内存（RAM）和长期内存（硬盘存储），其容量和精度都远远超过我们的大脑。

• 可靠性和耐用性。不仅是计算机的记忆会更加精确。计算机晶体管比生物神经元更精确，而且不易老化（即使老化也可以修复或更换）。人类的大脑也很容易疲劳，而计算机可以全天候不间断地以最高性能运行。

软件：

• 可编辑性、可升级性和更广泛的可能性。与人脑不同，计算机软件可以接受更新和修复，并可以很容易地进行实验。升级还可以跨越人脑薄弱的领域。人类的视觉软件非常先进，而其复杂的工程能力却相当低级。计算机可以在视觉软件方面与人类媲美，也可以在工程学和其他任何领域同样优化。

• 集体能力。人类在建立庞大的集体智慧方面胜过所有其他物种。从语言的发展和大型密集社区的形成开始，到文字和印刷术的发明，再到现在互联网等工具的出现，人类的集体智慧是我们能够远远领先于其他物种的主要原因之一。而计算机在这方面将比我们更胜一筹。一个由运行特定程序的人工智能组成的全球网络可以定期同步，这样任何一台计算机学到的任何知识都会立即上传到其他所有计算机上。这个群体还可以作为一个整体来实现一个目标，因为不一定会有不同的意见、动机和私利，就像我们人类一样。

人工智能很可能会通过编程自我完善而达到 AGI，它不会把 "人类水平的智能 "视为某个重要的里程碑--从我们的角度来看，这只是一个相关的标志，而且也没有理由 "止步 "于我们的水平。考虑到即使是与人类智能相当的 AGI 也会比我们拥有更多优势，很明显，它只会在达到人类智能的短暂瞬间后，就会飞速进入比人类智能更高的境界。

当这种情况发生时，我们可能会大吃一惊。原因是，从我们的角度来看，A）虽然不同种类动物的智力各不相同，但我们对任何动物智力的主要认识是，它远远低于我们的智力；B）我们认为最聪明的人类比最愚蠢的人类要聪明得多。有点像这样：

因此，当人工智能向我们的智能升级时，我们会认为它只是变得更聪明了，就像动物一样。然后，当它达到人类的最低能力时--尼克-博斯特罗姆用了 "乡村白痴 "这个词--我们就会说，"哇，它就像一个愚蠢的人类。真可爱！"

唯一的问题是，在智力的大范围内，所有的人类，从村里的白痴到爱因斯坦，都在一个很小的范围内--所以就在达到村里白痴的水平并被宣布为AGI之后，它会突然变得比爱因斯坦还聪明，而我们将不知道是什么击中了我们：

之后......会发生什么？

智能爆炸。

我希望你们能享受正常的时光，因为这时候这个话题会变得不正常和可怕，而且从现在开始会一直这样。我想在这里提醒大家，我要说的每一句话都是真实的--真实的科学，是众多最受尊敬的思想家和科学家对未来的真实预测。请牢记这一点。

总之，正如我在上文所说，我们目前大多数实现 AGI 的模型都涉及人工智能通过自我完善来实现。而一旦达到 AGI，即使是通过不涉及自我完善的方法形成和成长的系统，现在也会变得足够聪明，只要它们愿意，就可以开始自我完善。

在这里，我们要讨论一个深刻的概念：递归自我完善。它是这样工作的：

达到一定水平的人工智能系统--比方说人类村里的白痴--被编程的目标就是提高自己的智力。一旦做到这一点，它就会变得更聪明--也许此时它已经达到了爱因斯坦的水平--所以现在当它努力提高自己的智力时，有了爱因斯坦水平的智力，它就会更轻松，可以实现更大的飞跃。这些飞跃使它比人类聪明得多，让它能够实现更大的飞跃。随着飞跃的幅度越来越大，速度越来越快，AGI 的智能也会不断提升，很快就会达到人工智能系统的超级智能水平。这就是所谓的 "智能爆炸 " ，也是 "加速回报定律 "的终极范例。

关于人工智能多快能达到人类水平的通用智能，还存在一些争论。在一项对数百名科学家进行的调查中，他们认为我们更有可能达到 AGI 的时间中位数是 2042 年--也就是从现在开始的 25 年，这听起来并不算长，但如果你考虑到这一领域的许多思想家都认为，从 AGI 到 ASI 的发展可能会非常快。就像这可能发生一样：

第一个人工智能系统花了几十年时间才达到人类智障的水平，但它终于实现了。计算机能够像人类四岁小孩一样理解周围的世界。突然间，在达到这一里程碑的一小时内，该系统提出了将广义相对论和量子力学统一起来的物理学大理论，这是人类无法明确做到的。90 分钟后，人工智能成为了 ASI，比人类智能高出 17 万倍。

这种程度的超级智能不是我们能够完全掌握的，就像大黄蜂无法理解凯恩斯经济学一样。在我们的世界里，聪明意味着 130 的智商，愚蠢意味着 85 的智商--我们还没有一个词来形容12952的智商。

我们所知道的是，人类在地球上的绝对统治地位表明了一个明确的规则：有智慧就有力量。这意味着，当我们创造出超人工智能时，它将成为地球生命史上最强大的存在，包括人类在内的所有生物都将完全听命于它--这可能会在未来几十年内发生。

如果我们微不足道的大脑能够发明 Wifi，那么比我们聪明 100 倍、1000 倍或 10 亿倍的东西应该可以随时随地以任何方式控制世界上每一个原子的定位--我们认为神奇的一切，我们想象中至高无上的神所拥有的一切力量，对人工智能来说都将是平凡的活动，就像我们打开电灯开关一样。创造逆转人类衰老的技术，治愈疾病、饥饿甚至死亡，重新规划天气以保护地球生命的未来--所有这一切突然都成为可能。同样可能的是地球上所有生命的立即终结。在我们看来，如果超人工智能出现，地球上就会出现一个无所不能的上帝，而对我们来说，最重要的问题是：

这篇文章的第一部分完了，我建议你休息一下，喝点水，下面我们要开始第二部分。

 我们是永生还是灭绝 

我们面临的可能是一个极其棘手的问题，解决这个问题的时间尚不可知，而整个人类的未来都可能取决于此 - Nick Bostrom

第一部分的开头很简单，我们讨论弱人工智能（ANI）（专门从事一种狭义任务的人工智能，如计算行车路线或下棋），以及它是如何在我们当今的世界中随处可见的。然后，我们探讨了为什么从弱人工智能到通用人工智能（AGI）是一个巨大的挑战，我们还讨论了为什么我们过去看到的指数级技术进步速度表明，AGI 可能并不像看起来那么遥远。第一部分的最后，我告诉大家，一旦我们的机器达到了人类的智能水平，它们可能会立即做到这一点：

这让我们目不转睛地盯着屏幕，直面 "超级人工智能"（ASI，比人类聪明得多的人工智能）这一我们有生之年都有可能遇到的强烈概念，并试图找出我们在思考这个问题时应该表现出的情绪。

在我们深入探讨之前，让我们提醒自己，超人工智能意味着什么。

一个关键的区别在于速度型超级智能与质量型超级智能之间的差异。通常，人们在想象超级智能计算机时，首先想到的是它的智能与人类不相上下，但思考速度却比人类快得多--他们可能会想象一台机器能像人类一样思考，只不过思考速度要快一百万倍，这意味着它能在五分钟内算出人类需要十年才能算出的事情。

这听起来令人印象深刻，人工智能的思维速度比人类快得多，但真正的分隔符是它在智力质量上的优势，这是完全不同的。人类的智力之所以比黑猩猩高得多，并不在于思维速度上的差异--而是因为人类的大脑中包含了许多复杂的认知模块，能够实现复杂的语言表征、长期规划或抽象推理等功能，而黑猩猩的大脑却不具备这些功能。将黑猩猩的大脑速度提高数千倍也无法使其达到我们的水平--即使用十年的时间，它也无法想出如何使用一套定制工具来组装一个复杂的模型，而人类只需几个小时就能完成。在人类的认知功能世界里，无论黑猩猩花多少时间去尝试，它都不可能做到。

黑猩猩可以熟悉人类是什么，摩天大楼是什么，但它永远无法理解摩天大楼是人类建造的。在它的世界里，任何巨大的东西都是自然的一部分，不仅它无法建造摩天大楼，它也无法意识到任何人都可以建造摩天大楼。这就是智力素质的微小差异造成的结果。

就我们今天讨论的智力范围，甚至生物之间更小的范围而言，黑猩猩与人类在智力质量上的差距微乎其微。在早前的一篇文章中，我用一个阶梯描绘了生物认知能力的范围：

要想了解超人工智能有多重要，可以想象一下在那个楼梯上比人类高两级的深绿色台阶上有一台超人工智能。这台机器只有一点点超级智能，但它比我们提高的认知能力将和我们刚才描述的黑猩猩与人类的差距一样巨大。就像黑猩猩无法理解摩天大楼可以建造一样，我们甚至永远无法理解深绿色阶梯上的机器所能做的事情，即使机器试图向我们解释--更不用说我们自己去做了。而这仅仅是比我们高两级的台阶。对我们来说，位于最高的第二级台阶上的机器，就像我们对蚂蚁一样--它可以用很多年的时间来向我们传授它所知道的最简单的知识，但这种努力将是毫无希望的。

但是，我们今天所说的超级智能远非这个阶梯上的任何东西可比。在智能爆炸中，机器变得越聪明，它就能越快地提高自己的智能，直到它开始飞速上升--机器从黑猩猩的阶梯上升到它上面的阶梯可能需要数年时间，但当它站在比我们高两级的深绿色阶梯上时，也许只需要几个小时就能跃上一级阶梯，而当它比我们高出十级阶梯时，它可能每秒钟就能跃上四级阶梯。这就是为什么我们需要意识到，在第一台机器达到人类水平的人工智能的重大新闻报道后不久，我们就有可能面临在地球上与楼梯上（或者更高一百万倍）的东西共存的现实：

既然我们已经确定，试图了解比我们高两级的机器的能力是毫无希望的，那就让我们一劳永逸地明确指出，我们根本无法知道超人工智能会做什么，也无法知道超人工智能会给我们带来什么后果。

经过数亿年的进化，生物大脑的发展是缓慢而渐进的，从这个意义上说，如果人类诞生了人工智能机器，我们将极大地阻碍进化。或者这也是进化的一部分--也许进化的方式就是智能越来越高，直到达到能够创造超人工智能的水平，而这个水平就像一个绊马索，触发了一场改变世界游戏规则的爆炸，决定了所有生物的新未来：

由于我们稍后将讨论的原因，科学界有很大一部分人认为，我们会不会撞上绊线不是问题，而是什么时候。这真是一条疯狂的信息。

我们该怎么办？

世界上没有人，尤其是我，能告诉你当我们碰到绊线时会发生什么。但牛津大学哲学家、人工智能首席思想家尼克-博斯特罗姆（Nick Bostrom）认为，我们可以把所有潜在的结果归纳为两大类。

首先，纵观历史，我们可以看到生命是这样运作的：物种突然出现，存在一段时间，一段时间后，它们不可避免地从存在的平衡木上掉下来，走向灭绝------。

在历史上，"所有物种最终都会灭绝 "几乎和 "所有人类最终都会死亡 "一样，是一条可靠的法则。迄今为止，99.9% 的物种都从平衡木上掉了下来，而且似乎很明显的是，如果一个物种一直在平衡木上摇摇晃晃，那么迟早会有其他物种、大自然的一阵风或者突然出现的一颗震撼平衡木的小行星把它撞下来。博斯特罗姆将物种灭绝称为一种吸引状态--所有物种都在徘徊，随时可能坠入其中，没有任何物种能从中返回。

虽然我接触到的大多数科学家都承认人工智能有能力让人类走向灭亡，但许多人也相信，人工智能的能力可以被有益地用于将人类个体和整个物种带入第二种吸引状态--物种永生。博斯特罗姆认为，物种永生和物种灭绝一样，都是一种吸引子状态，也就是说，如果我们设法达到了这一状态，我们将永远不会灭绝--我们将战胜死亡率，战胜偶然性。因此，尽管迄今为止所有的物种都从平衡木上掉了下来，落到了灭绝的境地，但博斯特罗姆认为，平衡木是有两面的，只是地球上还没有任何物种有足够的智慧来想出如何从另一面掉下来。

如果博斯特罗姆和其他人是对的，而且从我读到的所有资料来看，他们似乎真的可能是对的，那么我们就有两个非常令人震惊的事实需要消化：

1. 超人工智能的出现将首次为一个物种在平衡木的不朽一侧着陆提供可能。

2. 超人工智能的出现将产生难以想象的巨大影响，很可能会把人类从梁上撞下来，撞向一个方向或另一个方向。

很有可能，当进化撞上绊马索时，就会永久性地结束人类与光束的关系，并创造出一个新世界，不管有没有人类。

似乎人类目前唯一应该问的问题是：我们什么时候会撞上绊网，撞上绊网时我们会落在光束的哪一边？我们什么时候会触到绊网，触网时我们会落在光束的哪一边？

世界上没有人知道这个问题的答案，但很多最聪明的人已经为此思考了几十年。我们将用本篇文章的其余部分来探讨他们得出的答案。

让我们从问题的第一部分开始：我们什么时候会触动绊线？

也就是说，第一台机器达到超级智能还要多久？

科学家和思想家们对此争论不休，众说纷纭，并不令人震惊。许多人，如教授弗农-文格（Vernor Vinge）、科学家本-戈尔策尔（Ben Goertzel）、太阳微系统公司（Sun Microsystems）联合创始人比尔-乔伊（Bill Joy），或者最著名的发明家和未来学家雷-库兹韦尔（Ray Kurzweil），都同意机器学习专家杰里米-霍华德（Jeremy Howard）在 TED 演讲中提出的这张图：

这些人相信，这种情况很快就会发生--指数级增长正在发挥作用，机器学习虽然现在只是慢慢地向我们走来，但在未来几十年内，它将直接超越我们。

其他人，如微软联合创始人保罗-艾伦（Paul Allen）、研究心理学家加里-马库斯（Gary Marcus）、纽约大学计算机科学家欧内斯特-戴维斯（Ernest Davis）和科技企业家米奇-卡波尔（Mitch Kapor）则认为，像库兹韦尔这样的思想家大大低估了挑战的严重性，并认为我们实际上离绊脚石并没有那么近。

库兹韦尔阵营会反驳说，现在唯一的低估是对指数增长的低估，他们会把质疑者比作那些在 1985 年看着缓慢生长的互联网幼苗，认为它不可能在不久的将来产生任何影响的人。

质疑者可能会反驳说，智能进步所需的进展也会随着每一步的进展而呈指数级增长，这将抵消技术进步的典型指数性质。诸如此类。

包括尼克-博斯特罗姆（Nick Bostrom）在内的第三阵营则认为，这两个阵营都没有任何理由来确定时间线，并承认：A）这绝对可能在不久的将来发生；B）对此没有任何保证；也可能需要更长的时间。

还有一些人，比如哲学家休伯特-德雷福斯（Hubert Dreyfus），认为上述三类人都太天真了，竟然相信存在绊线，并认为超人工智能更有可能永远不会实现。

那么，把所有这些意见综合起来，你会得到什么呢？

2013 年，文森特-C-穆勒（Vincent C. Müller）和尼克-博斯特罗姆（Nick Bostrom）进行了一项调查，在一系列会议上向数百名人工智能专家提出了以下问题："你预测人类级别的强人工智能什么时候会实现"这个问题要求他们说出一个乐观的年份（他们认为有10%的可能性会出现AGI的年份）、一个现实的猜测（他们认为有50%的可能性会出现AGI的年份--也就是说，在这一年之后，他们认为出现AGI的可能性更大）和一个安全的猜测（他们可以90%肯定地说最早会出现AGI的年份）。结果如下：

乐观年份中位数（10% 可能性到AGI）：2022

现实年份中位数（50% 可能性到AGI）：2040

悲观年份中位数（90% 可能性到AGI）：2075

因此，中位数受访者认为 25 年后出现 AGI 的可能性更大。90% 的中位数答案是 2075 年，这意味着如果你现在是一名青少年，那么中位数受访者和半数以上的人工智能专家几乎可以肯定，AGI 将在你有生之年实现。

最近，作者詹姆斯-巴拉特（James Barrat）在本-戈尔策尔（Ben Goertzel）的年度 AGI 大会上进行了另一项研究，该研究没有采用百分比，而只是询问参与者认为 AGI 将于何时实现--2030 年、2050 年、2100 年、2100 年之后，还是永远不会。结果是：

到 2030 年：42%的受访者

到 2050 年：25%的受访者

到 2100 年：20%的受访者

2100年以后：10%的受访者

永远不会：2%的受访者

与穆勒和博斯特罗姆的结果非常相似。在巴拉特的调查中，超过三分之二的参与者认为AGI将在2050年到来，不到一半的参与者预测AGI将在未来15年内到来。同样引人注目的是，只有2%的受访者认为AGI不是我们未来的一部分。

但 AGI 并不是绊脚石，ASI 才是。那么，专家们认为我们什么时候才能达到ASI呢？

穆勒和博斯特罗姆还询问了专家们，他们认为我们有多大可能在 A）达到 AGI 后的两年内（即几乎立即出现智能爆炸），以及 B）在 30 年内达到 ASI。结果如下：

答案的中位数表明，快速（2 年）的 AGI → ASI 过渡的可能性只有 10%，而 30 年或更短时间的过渡的可能性为 75%。

从这些数据中，我们无法得知中位数参与者会将这一转变的时间长度定为 50%的可能性，但为了方便起见，根据上述两个答案，我们估计他们会认为是 20 年。因此，中位数意见--人工智能专家世界的中心--认为我们何时会触及人工智能绊脚石的最现实的猜测是[2040 年对 AGI 的预测 + 我们估计的 20 年从 AGI 到超人工智能的过渡预测] = 2060 年。

当然，上述所有统计数据都是推测，它们只代表了人工智能专家社区的中心意见，但它告诉我们，对这个话题最了解的大部分人都会同意，2060 年是对可能改变世界的人工智能到来的一个非常合理的估计。距离现在只有 45 年了。

好了，现在说说上面问题的第二部分：当我们碰到绊线时，我们会掉到横梁的哪一边？

超级智能将产生巨大的能量--我们面临的关键问题是：

谁或什么将控制这种权力，他们的动机又是什么？

这个问题的答案将决定人工智能究竟是一个不可思议的伟大发展，还是一个深不可测的可怕发展，抑或是介于两者之间。

当然，对于这个问题的答案，专家们又是众说纷纭，争论不休。穆勒和博斯特罗姆的调查要求参与者为AGI可能对人类产生的影响分配一个概率，结果发现，平均回答是，结果是好或极好的概率为52%，结果是坏或极坏的概率为31%。而对于相对中性的结果，平均概率仅为 17%。换句话说，最了解这件事的人非常肯定这将是一件大事。值得注意的是，这些数字指的是 AGI 的出现--如果问题是关于超人工智能的，我想中性概率会更低。

在我们深入探讨这个问题的好坏结果之前，让我们把这个问题的 "何时发生？"和 "是好是坏？"两个部分合并成一张图表，其中包含了大多数相关专家的观点：

关于主营地，我们稍后再谈，但首先，你的交易是什么？事实上，我知道你的想法是什么，因为在我开始研究这个话题之前，我也是这么想的。大多数人没有真正思考这个话题的一些原因：

• 正如第一部分所提到的，电影通过展现不切实际的人工智能场景，让我们觉得人工智能并不是什么值得认真对待的东西，这确实让人感到困惑。詹姆斯-巴拉特（James Barrat）将这种情况比作如果美国疾病控制中心发出关于未来会出现吸血鬼的严重警告时我们的反应。
• 在看到证据之前，人类很难相信某件事情是真实的。我敢肯定，1988 年的计算机科学家们经常谈论互联网会有多大的影响，但人们可能并不真的认为互联网会改变他们的生活，直到它真的改变了他们的生活。部分原因是，1988 年的电脑还做不了这样的事情，所以人们看着自己的电脑会想："真的吗？那会是改变生活的东西吗？"他们的想象力仅限于他们的个人经历所教给他们的计算机是什么，这使得他们很难生动地想象计算机可能会变成什么样子。现在的人工智能也是如此。我们听说这将是一件大事，但因为它还没有发生，也因为我们对当前世界中相对无能的人工智能的经验，我们很难真正相信这将极大地改变我们的生活。而这些偏见正是专家们在日常集体自我陶醉的噪音中疯狂试图吸引我们注意力时所要面对的。
• 即使我们真的相信--你今天想过多少次你将在永恒的余生中大部分时间都不存在的事实？不多吧？尽管这个事实比你今天所做的任何事情都要强烈得多？这是因为我们的大脑通常只关注日常生活中的小事，无论我们身处多么疯狂的长期环境中。这就是我们的思维方式。

这两篇文章的目标之一，就是让你从 "我喜欢思考其他事情 "阵营中走出来，成为专家阵营中的一员，哪怕你只是站在上面方格中两条虚线的交叉点上，完全不确定。

在研究过程中，我遇到了数十种关于这个问题的不同观点，但我很快注意到，大多数人的观点都属于我所标榜的主阵营，尤其是超过四分之三的专家属于主阵营中的两个次阵营：

我们将对这两个阵营进行深入探讨。让我们从有趣的一个开始。

 为什么未来可能是我们最伟大的梦想？

在我了解人工智能世界的过程中，我发现站在这里的人出奇地多：

"自信角"的成员们兴奋不已。他们把目光投向了平衡木上有趣的一侧，他们坚信那就是我们所有人的方向。对他们来说，未来就是他们所期望的一切，只是来得太及时了。

将这些人与我们稍后讨论的其他思想家区分开来的不是他们对横梁幸福一侧的渴望--而是他们坚信那就是我们将要着陆的一侧。

这种自信来自哪里还有争议。批评者认为，这种自信来自于过于盲目的兴奋，以至于忽略或否认了潜在的负面结果。但信奉者则认为，总的来说，技术对我们的帮助已经远远大于对我们的伤害，而且最终很可能会继续帮助我们，因此幻想末日景象未免太过天真。

我们将讨论正反两方面的问题，你可以在阅读过程中形成自己的观点，但在本节中，请收起你的怀疑态度，让我们认真看看平衡木上有趣的一面--并试着接受这样一个事实：你读到的这些事情可能真的发生了。如果你向一个狩猎采集者展示我们这个室内舒适、科技发达、无尽富饶的世界，他一定会觉得这就像小说中的魔法--我们必须谦虚地承认，我们的未来有可能发生同样难以想象的转变。

尼克-博斯特罗姆描述了超人工智能系统的三种运作方式：

作为一个先知。它几乎能准确回答向它提出的任何问题，包括人类无法轻易回答的复杂问题--例如，我怎样才能制造出更高效的汽车发动机？谷歌是一种原始的神谕。

作为一个精灵。它可以执行任何高层次的指令--用分子装配器制造一种新型、更高效的汽车发动机，然后等待下一个指令。

拥有自由意志。它被赋予了广泛而开放的追求，并被允许在世界上自由行动，自行决定如何以最佳方式前进--发明一种比汽车更快、更便宜、更安全的方式，让人类可以私下自行运输。

这些在我们看来很复杂的问题和任务，在超人工智能听来，就像有人要求你改进 "我的铅笔掉到桌子上了 "的情况，而你只需把它捡起来放回桌子上就可以了。

上图中 "焦虑大道 "的居民埃利泽-尤德科夫斯基（Eliezer Yudkowsky）说得好：

没有难解的问题，只有在一定智力水平下难解的问题。把[智力水平]提高一点点，有些问题就会突然从 "不可能 "变成 "显而易见"。再往上移一大步，所有问题都会变得显而易见。

自信角有很多热心的科学家、发明家和企业家，但要想领略人工智能地平线最光明的一面，我们只想让一个人做我们的导游。

雷-库兹韦尔是个两极分化的人。在我的阅读过程中，我听到了对他和他的想法的各种崇拜，也听到了对这些想法的嗤之以鼻。其他人则介于两者之间--作家道格拉斯-霍夫斯塔德（Douglas Hofstadter）在讨论库兹韦尔书中的观点时，雄辩地指出："这就好像你拿了很多很好的食物和一些狗的排泄物，然后把它们混合在一起，这样你就不可能知道什么是好的，什么是坏的了。

无论你是否喜欢他的想法，所有人都认为库兹韦尔令人印象深刻。他从少年时代就开始发明创造，在随后的几十年里，他发明了多项突破性发明，包括第一台平板扫描仪、第一台将文字转换为语音的扫描仪（让盲人能够阅读标准文本）、著名的库兹韦尔音乐合成器（第一台真正意义上的电子琴）以及第一台商业化销售的大词汇量语音识别器。他著有五本全国畅销书。他以大胆的预测而闻名，并有相当好的预测成真的记录，包括他在 80 年代末的预测，当时互联网还是一个不起眼的东西，而到了 21 世纪初，互联网将成为一种全球现象。库兹韦尔被《华尔街日报》称为 "不安分的天才"，被《福布斯》称为 "终极思考机器"，被2012 年，谷歌联合创始人拉里-佩奇（Larry Page）找到库兹韦尔，邀请他担任谷歌工程总监。2011年他共同创立了奇点大学（Singularity University），现在大学由美国太空总署运运营，由谷歌赞助。他的一生还算不错。

这本传记非常重要。当库兹韦尔阐述他对未来的愿景时，他听起来完全像一个疯子，但疯狂的是，他不是--他是一个极其聪明、知识渊博、与世界息息相关的人。你可以认为他对未来的看法是错的，但他不是傻瓜。知道他是这样一个正直的人让我很高兴，因为当我了解到他对未来的预测时，我非常希望他是对的。你也一样。当你听到库兹韦尔的预测时，你就不难理解为什么他拥有如此多热情的追随者--被称为 "奇异论者"。以下是他认为将要发生的事情：

时间表

库兹韦尔认为，计算机将在 2029 年达到 AGI，而到 2045 年，我们将不仅拥有超人工智能，还将拥有一个完全成熟的新世界--他称之为奇点（singularity）。但在过去 15 年里，人工智能系统的突飞猛进让更多的人工智能专家更接近库兹韦尔的时间表。他的预测仍然比穆勒和博斯特罗姆调查的中位数受访者（到 2040 年实现 AGI，到 2060 年实现超人工智能）更宏大一些，但差距并不大。

库兹韦尔描绘的 2045 年奇点是由生物技术、纳米技术以及最强大的人工智能三项同时发生的革命带来的。

在我们继续之前--几乎所有关于人工智能未来的报道都会提到纳米技术，所以我们可以讨论一下：

纳米技术：

我们所说的纳米技术是指处理 1 到 100 纳米大小物质的技术。纳米是一米的十亿分之一，或一毫米的百万分之一，这个 1-100 纳米的范围包括病毒（100 纳米宽）、DNA（10 纳米宽），以及像血红蛋白（5 纳米）这样的大分子和像葡萄糖（1 纳米）这样的中等分子。如果/当我们掌握了纳米技术，下一步将是操纵单个原子的能力，而单个原子只比纳米技术小一个数量级（0.1 纳米）。

为了理解人类试图在这一范围内操纵物质所面临的挑战，让我们在更大的范围内做同样的事情。国际空间站距离地球 268 英里（431 千米）。如果人类是巨大的巨人，他们的头可以顶到国际空间站，那么他们将比现在大大约 25 万倍。如果把 1 纳米到 100 纳米的纳米技术范围放大 25 万倍，就会得到 0.25 毫米到 2.5 厘米。因此，纳米技术相当于一个与国际空间站一样高的人类巨人想出了如何利用沙粒和眼球大小的材料精心制造复杂物体的方法。要想达到更高的水平--操纵单个原子--巨人必须小心地定位 1/40 毫米大小的物体，这些物体小到正常大小的人类需要用显微镜才能看到。

理查德-费曼在 1959 年的一次演讲中首次讨论了纳米技术：他解释说："在我看来，物理学原理并不反对逐个原子操作的可能性。原则上，物理学家可以......合成化学家所写的任何化学物质....。怎么合成？把原子放在化学家说的地方，这样你就制造出了物质"。就是这么简单。如果你能想出如何移动单个分子或原子，你就能制造出任何东西。

1986 年，工程师埃里克-德雷克斯勒（Eric Drexler）在其开创性著作《创造的引擎》（Engines of Creation）中为纳米技术奠定了基础，纳米技术由此首次成为一个严肃的领域，但德雷克斯勒建议那些希望了解纳米技术最新理念的人最好阅读他在 2013 年出版的《激进的富足》（Radical Abundance）一书。

总之，我带你来这里是因为 我得告诉你纳米技术传说中 一个非常不好笑的部分。在旧版本的纳米技术理论中，提出了一种纳米组装方法，即制造数以万亿计的微小纳米机器人，这些机器人将协同工作，制造出某种东西。制造数万亿个纳米机器人的一种方法是制造一个可以自我复制的机器人然后让复制过程把一个机器人变成两个，两个变成四个，四个变成八个，大约一天之内，就会有几万亿个机器人准备就绪。这就是指数增长的力量。聪明吧？

这很聪明，直到它意外地导致了盛大而彻底的地球末日。问题在于，指数增长的力量使得快速制造一万亿个纳米机器人变得超级方便，但自我复制的前景却令人恐惧。因为如果系统出现故障，一旦总数达到几万亿个，它们不会像预期的那样停止复制，而是继续复制，那该怎么办？纳米机器人将被设计成消耗任何碳基材料，以满足复制过程的需要，而令人不快的是，所有生命都是碳基的。地球上的生物质含有大约 10 45 个碳原子。一个纳米机器人由大约 10 个 6 碳原子组成，因此 10 个 39 纳米机器人将吞噬地球上的所有生命，这将在 130 次复制中发生（2 130 约等于 10 39 ），纳米机器人的海洋（即灰色粘液）将在地球上滚动。科学家认为，一个纳米机器人的复制时间大约为 100 秒，这意味着这个简单的错误将在 3.5 小时内不方便地终结地球上的所有生命。

更糟糕的情况是，如果恐怖分子掌握了纳米机器人技术，并懂得如何对其进行编程，他可以先制造几万亿个纳米机器人，然后对其进行编程， 让它们悄悄地花几周时间均匀地散布在世界各地 而不被发现。然后，它们会同时发动攻击，只需 90 分钟就能吞噬一切--由于它们都分散在各处，根本无法与之对抗。

虽然这个恐怖故事已被广泛讨论多年，但好消息是，它可能被夸大了--"灰胶 "一词的创造者埃里克-德雷克斯勒（Eric Drexler）在这篇文章之后给我发了一封电子邮件，表达了他对灰胶情景的看法："人们喜欢恐怖故事，而这个故事属于僵尸。这个想法本身就吃脑子"。

一旦我们真正掌握了纳米技术，我们就可以用它来制造科技设备、服装、食品、各种生物相关产品--人造血细胞、微小病毒或癌细胞消灭剂、肌肉组织等--任何东西。在使用纳米技术的世界里，材料的成本不再与其稀缺性或制造工艺的难度挂钩，而是取决于其原子结构的复杂程度。在纳米技术的世界里，钻石可能比铅笔橡皮更便宜。

我们还没到那一步。现在还不清楚我们是低估了还是高估了实现目标的难度。但我们似乎并不遥远。库兹韦尔预测，我们将在 2020 年代实现这一目标。11 各国政府都知道纳米技术可能是一项震撼地球的发展，他们已在纳米技术研究方面投入了数十亿美元（美国、欧盟和日本迄今共投入了 50 多亿美元）。

如果一台超级智能计算机能够使用强大的纳米级组装机，那么光是考虑其可能性就会让人感到紧张。但是，纳米技术是我们创造出来的，我们即将征服它。既然我们能做的任何事情对人工智能系统来说都是笑话，我们就必须假设人工智能会创造出更强大、更先进的技术，而这些技术是人类大脑无法理解的。

因此，在考虑 "如果人工智能革命对我们有利 "的情景时，我们几乎不可能高估可能发生的事情的范围。所以，如果以下对人工智能未来的预测似乎过于夸张，请记住，它们可能以我们无法想象的方式实现。最有可能的是，我们的大脑甚至无法预测会发生的事情。

 人工智能能为我们做什么 

有了超人工智能和超人工智能知道如何创造的所有技术，超人工智能很可能能够解决人类的所有问题。全球变暖？人工智能首先可以想出与化石燃料无关的更好的能源生产方式，从而阻止二氧化碳排放。

然后，它可以创造一些创新方法，开始清除大气中多余的 CO2。癌症和其他疾病？对超人工智能来说不成问题--健康和医学将发生超乎想象的革命。世界饥饿？人工智能可以利用纳米技术从头开始制造肉类，这种肉类在分子结构上与真正的肉类完全相同，换句话说，它将是真正的肉类。

纳米技术可以把一堆垃圾变成一大桶新鲜的肉或其他食物（这些食物不必是正常的形状想象一下一个巨大的立方体苹果），然后利用超先进的交通工具把这些食物分发到世界各地。当然，这对动物来说也是件好事，它们再也不用被人类杀害了，而且超人工智能还可以做很多其他事情，通过保存 DNA 来拯救濒危物种，甚至让灭绝的物种复活。超人工智能甚至可以解决我们最复杂的宏观问题--我们关于如何管理经济、如何更好地促进世界贸易的争论，甚至我们在哲学或伦理学方面最朦胧的困惑，对超人工智能来说都是显而易见的。

但是，超人工智能可以为我们做的一件事太诱人了，读了它的介绍后，我对一切的认识都发生了改变：

超人工智能可以让我们永生。

几个月前，我曾提到过我对更先进的潜在文明的羡慕，这些文明已经战胜了自己的死亡，但我从未考虑过我以后可能会写一篇文章，让我真正相信人类在我有生之年就能做到这一点。但是，阅读有关人工智能的文章会让你重新考虑所有你认为确定的事情--包括你对死亡的概念。

进化论没有充分的理由延长我们的寿命。如果我们活得足够长，能够繁衍后代并把孩子抚养到能够自食其力的年龄，这对进化论来说就足够了。从进化论的角度来看，物种只要有 30 多年的寿命就能繁衍生息，因此，在自然选择过程中，没有理由偏爱异常长寿的变异。因此，我们就像 W.B. 叶芝所描述的那样，"灵魂被固定在垂死的动物身上 "

因为每个人都会死，所以我们生活在 "死亡与税收 "的假设中，认为死亡是不可避免的。我们认为衰老就像时间一样。两者都在不停地流逝，你无法阻止它们。

但这种假设是错误的，理查德-费曼写道：

在所有的生物科学中，没有任何关于死亡必要性的线索，这是最了不起的事情之一。如果你说我们想制造永动机，我们在研究物理学的过程中已经发现了足够多的定律，可以看出这要么是绝对不可能的，要么就是定律是错误的。但是，在生物学中还没有发现任何迹象表明死亡是不可避免的。这就告诉我，死亡根本不是不可避免的，生物学家们迟早会发现是什么给我们带来了麻烦，人类身体的这种可怕的普遍疾病或暂时性疾病迟早会被治愈。

事实上，衰老并不拘泥于时间。时间会继续流逝，但衰老却不必。仔细想想，这就说得通了。所有的衰老都是身体物质的磨损。汽车也会随着时间磨损，但它的老化是不可避免的吗？如果只要有一个零件开始磨损，你就能完美地修理或更换汽车零件，那么汽车就能永远运行下去。人体也不例外，只是要复杂得多。

库兹韦尔谈到了血液中与 Wifi 连接的智能纳米机器人，它们可以为人类健康执行无数任务，包括定期修复或更换身体任何部位磨损的细胞。如果这个过程（或者人工智能会想出的更智能的过程）得到完善，它不仅能保持人体健康，还能逆转衰老。60 岁人的身体和 30 岁人的身体之间的差别只是一堆物理上的东西，如果我们有技术，这些东西是可以改变的。人工智能可以制造一个 "年龄更新器"，让 60 岁的人走进去，然后带着 30 岁人的身体和皮肤走出来。即使是令人困惑的大脑，也可以通过像人工智能这样的智能设备进行更新，它可以找出如何在不影响大脑数据（个性、记忆等）的情况下进行更新。一个患有痴呆症的 90 岁老人可以进入年龄进修器，然后精神抖擞地开始全新的职业生涯。这似乎很荒谬，但人体只是一堆原子，超人工智能大概可以轻松操纵各种原子结构，所以这并不荒谬。

随后，库兹韦尔将事情向前推进了一大步。他认为，随着时间的推移，人工材料将越来越多地融入人体。首先，器官可能会被超级先进的机器版本取代，它们将永远运行，永不故障。然后，他认为我们可以开始重新设计身体--比如用完善的红血球纳米机器人取代红血球，它们可以驱动自己的运动，根本不需要心脏。他甚至谈到了大脑，认为我们将增强大脑活动，使人类的思考速度比现在快数十亿倍，并能获取外部信息，因为大脑的人工添加物将能与云中的所有信息进行交流。

人类新体验的可能性将是无穷无尽的。人类已经将性从其目的中分离出来，让人们可以为了乐趣而做爱，而不仅仅是为了繁衍后代。库兹韦尔相信，我们也能在食物方面做到这一点。纳米机器人将负责为人体细胞提供完美的营养，智能地引导任何不健康的东西通过人体，而不会对任何东西造成影响。会吃的避孕套纳米技术理论家罗伯特-A-弗雷塔斯（Robert A. Freitas）已经设计出了血细胞替代品，如果有一天能在人体内使用，就能让人在不喘气的情况下冲刺 15 分钟--你可以想象人工智能能为我们的身体机能带来什么。虚拟现实将被赋予新的含义，体内的纳米机器人可以抑制来自我们感官的输入，并用新的信号取而代之，让我们完全置身于一个新的环境，一个我们可以看到、听到、感觉到和闻到的环境。

最终，库兹韦尔认为人类将达到完全人工化的地步；当我们看到生物材料时，会觉得人类由这些材料构成是多么不可思议的原始；当我们读到人类历史的早期阶段时，微生物、意外事故、疾病或磨损都可能违背人类的意愿杀死人类；当人工智能革命随着人类和人工智能的融合而结束时。

库兹韦尔相信，人类最终将以这种方式征服我们的生物学，变得坚不可摧、永恒不朽。

这就是他对平衡木另一端的愿景。他坚信我们会到达那里。很快。

如果你知道库兹韦尔的观点招致了大量批评，你一定不会感到惊讶。他预言 2045 年将出现奇点，随后人类有可能获得永生，这被嘲讽为 "书呆子的狂喜 "或 "140 智商人的智能设计"。还有人质疑他乐观的时间表，质疑他对大脑和身体的理解程度，质疑他将通常适用于硬件进步的摩尔定律模式应用于包括软件在内的广泛领域。每有一位专家坚信库兹韦尔的观点是正确的，就可能有三位专家认为他的观点有偏差。

但让我惊讶的是，大多数不同意他观点的专家并不是真的不同意他所说的一切皆有可能。读到如此离奇的未来愿景，我本以为他的批评者会说："显然，那些东西不可能发生。"但他们却说："是的，如果我们安全地过渡到强人工智能，所有这些都可能发生，但那是困难的部分。"博斯特罗姆是警告我们人工智能危险的最著名的声音之一，但他仍然承认，人工智能的危险是不言而喻的：

很难想象有什么问题是超级智能无法解决或至少无法帮助我们解决的。疾病、贫困、环境破坏、各种不必要的痛苦：这些都是一个配备了先进纳米技术的超级智能体能够消除的。此外，超级智能体还可以通过使用纳米医学来阻止和逆转衰老过程，或者为我们提供上传自己的选择，从而为我们带来无限的寿命。超级智能体还可以为我们创造机会，大大提高我们自身的智力和情感能力，它还可以帮助我们创造一个极具吸引力的体验世界，在这个世界里，我们可以尽情地游戏、相互交流、体验、个人成长，以及更加接近我们的理想。

这句话出自一位非常不喜欢 "自信角 "的人之口，但这正是我不断遇到的情况，专家们出于种种原因对科兹威尔嗤之以鼻，但他们并不认为他所说的是不可能的，只要我们能安全地到达超人工智能。这就是为什么我觉得库兹韦尔的观点如此有感染力--因为它们阐述了这个故事光明的一面，因为它们实际上是可能的。如果这是一个好上帝的话。

我听到的对 "自信角落 "思想家们最突出的批评是，他们对人工智能负面影响的评估可能错得离谱。库兹韦尔的名著《奇点临近》（The Singularity is Near）长达 700 多页，其中他用了大约 20 页来阐述潜在的危险。我在前面提到，当这种巨大的新力量诞生时，我们的命运取决于谁将控制这种力量，以及他们的动机是什么。库兹韦尔用一句话巧妙地回答了这个问题的两个部分："[超人工智能]正从许多不同的努力中产生，并将深深融入我们文明的基础设施。事实上，它将深深嵌入我们的身体和大脑。因此，它将反映我们的价值观，因为它就是我们"。

但如果这就是答案，为什么世界上这么多最聪明的人现在如此忧心忡忡？为什么斯蒂芬-霍金说人工智能的发展 "可能意味着人类的终结"，为什么比尔-盖茨说他 "不明白为什么有些人不担心"，为什么埃隆-马斯克担心我们正在 "召唤恶魔"？为什么这么多相关专家将超人工智能称为人类最大的威胁？这些人，还有焦虑大道上的其他思想家们，并不相信库兹韦尔对人工智能危险的撇清。他们非常、非常担心人工智能革命，但他们并不关注平衡木上有趣的一面。他们忙着盯着另一面，在那里，他们看到了一个可怕的未来，一个他们不确定我们能否逃脱的未来。

 为什么未来可能是我们最可怕的噩梦？ 

我想学习人工智能的原因之一是，"坏机器人 "这个话题总是让我感到困惑。所有关于邪恶机器人的电影似乎都很不现实，我真的不明白现实生活中怎么会出现人工智能真的很危险的情况。机器人是我们制造的，为什么我们要把它们设计成可能发生负面事件的样子呢？难道我们不会建立足够的保护措施吗？难道我们不能随时切断人工智能系统的电源，让它停机吗？机器人为什么要做坏事？为什么机器人首先会 "想要 "什么？我对此深表怀疑。

但后来我不断听到一些非常聪明的人在谈论这个问题......

这些人往往就在这里的某个地方：

焦虑大道上的人们并不在恐慌草原或无望丘陵--这两个地区都在图表的最左边--但他们很紧张。处于图表中间并不意味着你认为人工智能的到来将是中立的--中立者有自己的阵营--而是意味着你认为极好和极坏的结果都有可能发生，但你还不确定会是哪一种。

这些人中有一部分人对超人工智能能为我们做什么充满了兴奋--只是他们有点担心，这可能是《夺宝奇兵》的开头，而人类就是这个家伙：

他站在那里，对自己的鞭子和偶像很满意，认为自己已经弄明白了一切，当他说出 "再见了，先生 "这句台词时，他对自己感到非常兴奋，但突然发生的事情让他不那么兴奋了。（大概就是人没了，过于血腥）

与此同时，印第安纳-琼斯（Indiana Jones）的知识更渊博，也更谨慎，他了解危险，也知道如何绕过危险，因此安全地走出了山洞。当我听到 "焦虑大道"（Anxious Avenue）的人对人工智能的看法时，听起来就像是在说："嗯，我们现在有点像第一个人，相反，我们也许应该努力成为印第安纳-琼斯（Indiana Jones）。

那么，究竟是什么让焦虑大道上的每个人都如此焦虑呢？

首先，从广义上讲，在开发超人工智能的过程中，我们正在创造一种可能会改变一切的东西，但这是在一个完全未知的领域，我们不知道当我们到达那里时会发生什么。科学家丹尼-希利斯（Danny Hillis）将正在发生的事情比作 "单细胞生物变成多细胞生物 "的那一刻。14 尼克-博斯特罗姆（Nick Bostrom）担心，创造比自己更聪明的东西是达尔文主义的基本错误，并将这种兴奋比作巢中的麻雀决定收养一只猫头鹰宝宝，这样猫头鹰宝宝长大后就会帮助它们、保护它们--而忽略了几只麻雀的急切呼喊，它们不知道这是否一定是个好主意......

当你把 "未知的、不为人熟知的领域 "和 "一旦发生就会产生重大影响 "结合在一起时，你就打开了英语中最可怕的两个词的大门：

存在的风险。

生存风险是指可能对人类造成永久性毁灭性影响的风险。通常，生存风险意味着灭绝。请看博斯特罗姆在谷歌演讲中的图表：

你可以看到，"生存风险 "这个标签是为那些跨越物种、跨越世代（即永久性的）、具有破坏性或导致死亡的后果而保留的。有三种情况会给人类带来生存灾难：

1. 自然。大型小行星撞击、大气层变化导致空气不适合人类、致命病毒或细菌疾病席卷全球，等等。

2. 外星人。这正是斯蒂芬-霍金、卡尔-萨根和其他许多天文学家在建议欧洲气象研究所停止向外发射信号时所害怕的。他们不希望我们成为美洲原住民，让所有潜在的欧洲征服者知道我们在这里。

3. 人类。恐怖分子掌握了可能导致灭绝的武器，一场灾难性的全球战争，人类在没有仔细考虑的情况下匆忙创造出比自己更聪明的东西......

博斯特罗姆指出，如果在我们作为一个物种的最初 10 万年里，#1 和 #2 还没有消灭我们，那么下个世纪也不太可能发生。

#然而，3 号却让他感到恐惧。他画了一个瓮的比喻，里面有一堆弹珠。假设大部分弹珠是白色的，少部分是红色的，还有极少数是黑色的。人类每次发明新东西，就像从瓮中取出一颗弹珠。大多数发明对人类是中性或有益的，这些就是白色弹珠。有些对人类有害，比如大规模杀伤性武器，但不会造成生存灾难--这些是红色弹珠。如果我们发明了某种东西，使我们走向灭亡，那就是取出罕见的黑色大理石。我们还没有取出黑色弹珠--你知道这一点是因为你还活着，还在读这篇文章。但博斯特罗姆认为，在不久的将来，我们并不是不可能拉出一颗黑色大理石。举例来说，如果核武器很容易制造，而不是极其困难和复杂，恐怖分子早就把人类炸回石器时代了。核武器虽然不是黑色弹珠，但也离它不远了。博斯特罗姆认为，人工智能是我们目前最强大的黑玉候选者。

因此，你会听到很多关于人工智能可能带来的负面影响，随着人工智能占据越来越多的工作岗位，失业率飙升，如果我们能够解决老龄化问题，人类人口将急剧膨胀，等等。但我们唯一应该纠结的是一个大问题：生存风险的前景。

这又回到了前面的关键问题：当超人工智能到来时，谁或什么将控制这个庞大的新势力，他们的动机又是什么？

说到什么特工动机组合会很糟糕，人们很快就会想到两种：一种是恶意人类/人类团体/政府，另一种是恶意人工智能。那么这两种情况会是怎样的呢？

一个恶意的人类、人类团体或政府开发出第一个超人工智能，并利用它来实施他们的邪恶计划。我称这种情况为 "贾法尔情景"，就像贾法尔得到了精灵，并为此恼羞成怒、横行霸道一样。那么是的，如果 ISIS 手下有几个天才工程师正在疯狂地开发人工智能呢？或者如果伊朗或朝鲜运气好，对人工智能系统进行了关键调整，从而在未来一年内将其提升到人工智能水平呢？这肯定不是好事--但在这些情况下，大多数专家并不担心人工智能的人类创造者会用他们的人工智能干坏事，他们担心的是创造者会匆忙制造出第一个人工智能，而没有经过深思熟虑，从而失去对人工智能的控制。那么，这些创造者和其他人的命运就将取决于该人工智能系统的动机是什么。专家们确实认为，一个恶意的人类特工可以利用人工智能为其工作，造成可怕的破坏，但他们似乎并不认为这种情况有可能杀死我们所有人，因为他们认为，坏人在控制人工智能方面会遇到与好人一样的问题。好吧，那么--

一个恶意的超人工智能被创造出来，并决定毁灭我们所有人。这是每部人工智能电影的情节。人工智能变得和人类一样聪明，甚至比人类更聪明，然后决定背叛我们，接管人类。在这篇文章的其余部分，我需要你明确一点：没有一个警告我们要警惕人工智能的人是在谈论这个问题。邪恶是人类的概念，而将人类的概念应用于非人类事物则被称为 "拟人化"。避免 "拟人化 "的挑战将是本文章其余部分的主题之一。没有哪个人工智能系统会像电影中描述的那样变得邪恶。

这还涉及到另一个与人工智能意识相关的大话题。如果人工智能变得足够聪明，它就能和我们一起笑，和我们一起挖苦我们，它也会声称感受到和我们一样的情绪，但它真的会感受到这些东西吗？它只是看起来有自我意识，还是真的有自我意识？换句话说，智能人工智能是真的有意识，还是只是看起来有意识？

人们对这个问题进行了深入探讨，并引发了许多争论和思想实验，如约翰-塞尔的 "中国房间"（他用它来说明任何计算机都不可能有意识）。这是一个重要的问题，原因有很多。它影响到我们应该如何看待库兹韦尔提出的人类完全成为人造人的设想。它还涉及伦理问题--如果我们生成了一万亿个仿真人脑，这些仿真人看似人类，行动也像人类，但却是人造的，那么关闭所有这些仿真人脑，在道德上是否与关闭你的笔记本电脑一样，抑或是......一场难以想象的种族灭绝（伦理学家将这一概念称为 "心灵犯罪"）？

不过，对于这篇文章来说，当我们评估人类面临的风险时，人工智能的意识问题其实并不重要（因为大多数思想家认为，即使是有意识的人工智能，也不可能以人类的方式变得邪恶）。

这并不是说非常凶残的人工智能不会出现。它之所以会发生，只是因为它的程序设计就是如此，就像军方创造的人工智能系统，其程序设计目标既是杀人，也是提升自己的智能，这样它就能变得更擅长杀人。如果该系统的智能自我提升失控，导致智能爆炸，而我们现在有了一个以杀人为核心驱动力的人工智能来统治世界，那么生存危机就会发生。

糟糕的时代。

但这也不是专家们花时间担心的问题。

那么，他们在担心什么呢？我写了一个小故事告诉你：

"""

一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”他们已经有几款产品上架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字。

“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——

我们爱我们的顾客 ——隔壁老王机器人公司

等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。

为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，就拍个照，然后和样本进行比对，如果比对结果超过一定标准，就产生一个正面回馈，反之就产生一个负面评价。每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”

让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来就像人写的了。它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片。

随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。

有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。

工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、视频等等。这些资料如果手动上传的话会很费时。问题是，公司禁止把能自我学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定。

但是，隔壁老王是公司最有潜力的人工智能产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。而且，把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛，不管怎样，隔壁老王还没到达强人工智能水平，所以不会有什么危险的。

于是他们把隔壁老王连上了互联网，让它扫描了一个小时各种语言库，然后就把网线拔了。没造成什么损失。

一个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽。然后其他人也开始咳嗽，然后所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。

同时，办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校。餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝了。

而在隔壁老王机器人公司，隔壁老王正在忙着工作。之后的几个月，隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔。一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~隔壁老王机器人公司”。

隔壁老王开始了它的下一步，它开始制造外星飞行器，这些飞行器飞向陨石和其它行星，飞行器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔。然后他们继续写着那句话……

我们爱我们的顾客 ——隔壁老王机器人公司

“”“

霍金、马斯克、盖茨和博斯特罗姆所害怕的正是这样一个故事：一台手写机器背叛人类，不知何故杀死了所有人，然后出于某种原因让银河系充满了友好的纸条。但这是真的。在焦虑大街上，唯一比超人工智能更让大家害怕的事情，就是你们并不害怕超人工智能。

你现在肯定充满疑问：为什么故事中所有人突然都死了？如果是隔壁老王做的，它为什么要这么做？为什么没有安保措施来防止这一切的发生？为什么隔壁老王突然从一个手写机器人变成拥有能用纳米科技毁灭全人类的能力？为什么隔壁老王要让整个星系充满了友善的话语？

要回答这些问题，让我们从友好的人工智能（Friendly AI）和不友好的人工智能（Unfriendly AI）这两个术语开始。

就人工智能而言，友好并不是指人工智能的个性--它只是指人工智能对人类有积极的影响。而不友好的人工智能则会对人类产生负面影响。隔壁老王一开始是友好型人工智能，但在某个时刻，他变成了不友好型，对我们人类造成了最大的负面影响。要理解为什么会发生这种情况，我们需要研究一下人工智能的思维方式和动机。

答案并不出人意料--人工智能像计算机一样思考，因为它就是计算机。但是，当我们思考高智能人工智能时，我们犯了一个错误，那就是将人工智能拟人化（将人类的价值观投射到非人类实体上），因为我们是从人类的角度思考问题的，而且在我们当前的世界中，唯一具有人类水平智能的东西就是人类。要想理解超人工智能，我们就必须理解既聪明又完全陌生的概念。

让我来做个比较。如果你递给我一只豚鼠，告诉我它肯定不会咬人，我可能会被逗乐。这会很有趣。如果你递给我一只狼蛛，告诉我它绝对不会咬人，我会大叫一声，扔掉它，跑出房间，再也不相信你。但这有什么区别呢？两者都没有任何危险性。我相信答案就在动物与我的相似程度上。

豚鼠是哺乳动物，在某种生物层面上，我觉得与它有联系，但蜘蛛是昆虫，有昆虫的大脑，我几乎感觉不到与它有任何联系。狼蛛的陌生感让我感到恐惧。为了验证这一点并排除其他因素，如果有两只豚鼠，一只是正常的，另一只有狼蛛的头脑，即使我知道这两只豚鼠都不会伤害我，我也会觉得抱着后一只豚鼠不那么自在。

现在想象一下，如果你让一只蜘蛛变得聪明得多，聪明得多，以至于远远超过人类的智慧？那么它会变得和我们一样熟悉，感受到人类的情感，比如同理心、幽默和爱？不，不会的，因为没有理由变得更聪明会让它变得更像人类--它会变得无比聪明，但从根本上说，它的核心内部结构仍然是一只蜘蛛。我觉得这令人毛骨悚然。我可不想和一只超级智能蜘蛛呆在一起。你呢？

当我们谈论超人工智能时，同样的概念也适用--它会变得超级智能，但它不会比你的笔记本电脑更像人类。它对我们来说是完全陌生的--事实上，由于根本不是生物，它比智能狼蛛还要陌生。

通过让人工智能非善即恶，电影不断地将人工智能拟人化，这让它变得不那么令人毛骨悚然。这让我们在思考人类级别或超人级别的人工智能时有一种虚假的舒适感。

在我们这个人类心理学的小岛上，我们把一切都分为道德和不道德。但这两种情况都只存在于人类行为可能性的小范围内。在我们这个道德和不道德的小岛之外，是一片无道德的汪洋大海，任何非人类的东西，尤其是非生物的东西，默认情况下都是无道德的。

随着人工智能系统变得越来越聪明，越来越善于伪装成人类，拟人化只会变得越来越诱人。对我们来说，Siri 看起来很像人类，因为她是由人类编程设定的，所以我们会想象一个超级智能的 Siri 会热情、风趣并热衷于为人类服务。人类之所以能感受到同理心之类的高级情感，是因为我们进化出了这种情感--也就是说，我们在进化过程中被编程赋予了这种情感--但同理心并不是 "任何高智商生物"（这在我们看来是直观的）的固有特征，除非同理心已经被编码到程序中。如果 Siri 通过自我学习变得超级智能，而人类又没有对她的程序进行任何进一步的修改，那么她很快就会褪去表面上类似人类的特质，突然变成一个毫无感情的外星机器人，对人类生命的珍视程度不会超过你的计算器。

我们习惯于依靠宽松的道德准则，或者至少是人的体面和他人的一丝同情，来保持一定的安全和可预测性。那么，当某些东西不具备这些条件时，会发生什么呢？

这就引出了一个问题：人工智能系统的动机是什么？

答案很简单：它的动机就是我们给它设定的动机。人工智能系统的创造者给了它们目标--GPS 的目标是为你提供最有效的行车路线；沃森的目标是准确回答问题。而尽可能实现这些目标就是它们的动力。我们将人工智能拟人化的一种方式是假设随着人工智能变得越来越聪明，它会自然而然地发展出改变原有目标的智慧，但尼克-博斯特罗姆（Nick Bostrom）认为，智能水平和最终目标是正交的，这意味着任何智能水平都可以与任何最终目标相结合。

所以隔壁老王从一个想要好好写字的弱人工智能变成一个超级聪明的超人工智能后，它依然还是想好好写字而已。任何认为系统一旦成为超级智能体，就会忘掉最初的目标，转向更有趣或更有意义的事情的假设都是拟人化的。人类会 "超越 "事物，而不是计算机。

费米悖论

在隔壁老王的故事中，隔壁老王变得无所不能，它开始殖民陨石和其它星球。如果我们让故事继续的话，它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积。焦虑大道上的人担心如果事情往坏的方向发展，地球生命的永久遗产将是一个主宰宇宙的人工智能（埃隆-马斯克表达了他的担忧，人类可能只是 "数字超级智能的生物引导装载机"）。

与此同时，在《自信角落》一书中，雷-库兹韦尔（Ray Kurzweil）也认为源自地球的人工智能注定会接管宇宙，只不过在他的版本中，我们就是那个人工智能。

很多 "等一下，为什么"（Wait But Why）的读者都和我一样痴迷于费米悖论（这是我关于这个话题的文章，其中解释了我在这里会用到的一些术语）。那么，如果这两方中的任何一方是正确的，那么费米悖论会产生什么影响呢？

人们首先想到的自然是，超人工智能的出现是一个完美的大过滤器候选者。是的，它是一个完美的候选者，可以在诞生之初就过滤掉生物生命。但是，如果超人工智能在剔除生命之后继续存在，并开始征服银河系，那就意味着还没有大过滤器--因为大过滤器试图解释为什么没有任何智慧文明的迹象，而征服银河系的人工智能肯定会引人注目。

我们必须换个角度看问题。如果那些认为超人工智能在地球上不可避免的人是正确的，那么这就意味着相当一部分达到人类智慧水平的外星文明最终很可能会创造出超人工智能。而如果我们假设其中至少有一些外星文明会利用它们的智慧向宇宙扩张，那么我们看不到任何外星文明存在的迹象这一事实就会得出这样的结论：即使有，也一定没有多少其他的智慧文明存在。因为如果有的话，我们就会看到他们不可避免的超人工智能创造物的各种活动迹象。对吧？

这意味着，尽管我们知道有那么多类似地球的行星围绕着类似太阳的恒星旋转，但几乎没有一颗上面有智慧生命。这反过来又意味着，

要么A）存在某种大过滤器，阻止几乎所有生命达到我们的水平，而我们以某种方式成功超越了这一过滤器；

要么B）生命的出现是一个奇迹，我们可能实际上是宇宙中唯一的生命。

换句话说，这意味着大过滤器就在我们面前。或者，也许根本就不存在大过滤器，我们只是最早达到这种智能水平的文明之一。这样一来，人工智能就为我在 "费米悖论 "一文中所说的 "第一阵营 "提供了依据。

因此，我在费米的文章中引用的尼克-博斯特罗姆（Nick Bostrom）和认为宇宙中只有我们的雷-库兹韦尔（Ray Kurzweil）都是第一阵营的思想家，这并不奇怪。这是有道理的--相信超人工智能是具有我们这种智力水平的物种可能出现的结果的人，很可能倾向于第一阵营。

这并不排除第二阵营（那些相信有其他智慧文明存在的人）的可能性--像单一超级食肉动物、受保护的国家公园或错误的波长（对讲机的例子）这样的情况仍然可以解释我们夜空的寂静，即使人工智能就在那里--但我过去一直倾向于第二阵营，而对人工智能的研究让我觉得不那么确定了。

无论如何，我现在同意苏珊-施耐德的观点，即如果有外星人拜访我们，那些外星人很可能是人造的，而不是生物的。

因此，我们已经确定，如果没有非常具体的编程，超人工智能系统就会既不道德，又执着于实现其最初的编程目标。这就是人工智能的危险所在。因为一个理性的代理会通过最有效的手段来追求自己的目标，除非它有理由不这么做。

当你试图实现一个长远目标时，你通常会在途中实现几个子目标，这些目标将帮助你实现最终目标--通往目标的垫脚石。这种垫脚石的正式名称是 "工具性目标"。同样，如果你没有理由不以实现工具性目标为名去伤害某些东西，你就会去伤害。

人类的核心终极目标是传承自己的基因。为此，一个工具性目标就是自我保护，因为如果你死了，你就无法繁衍后代。为了自我保护，人类必须摆脱生存威胁，因此他们会买枪，系安全带，服用抗生素。人类还需要自我维持，并为此使用食物、水和住所等资源。对异性有吸引力有助于实现最终目标，因此我们会去理发。当我们这样做时，每一根头发都是我们工具性目标的牺牲品，但我们认为保留一缕头发没有道德意义，所以我们继续这样做。当我们在追求目标的道路上勇往直前时，只有少数几个我们的道德准则有时会介入的领域--大多只是与伤害他人有关的事情--才不会受到我们的影响。

动物在追求目标的过程中，甚至比我们更缺乏神圣感。只要有助于生存，蜘蛛就会杀死任何东西。因此，超智能蜘蛛可能会对我们造成极大的危险，这并不是因为它不道德或邪恶--它不会--而是因为伤害我们可能是它实现更大目标的垫脚石，而作为一种无道德的生物，它没有理由不这么做。

从这个角度来说，隔壁老王和生物并没有什么不同。他的最终目标是以最快的速度写出尽可能多的笔记并进行测试，不断学习新的方法来提高自己的准确性。

一旦隔壁老王达到一定的智力水平，他就知道如果不自我保护，他就写不出任何笔记，所以他还需要应对对他生存的威胁--这是一个工具性目标。他很聪明，明白人类可能会摧毁他、拆散他，或者改变他的内部编码（这可能会改变他的目标，而这对他最终目标的威胁不亚于有人摧毁他）。那么他会怎么做呢？顺理成章的事--他毁灭了所有人类。他并不憎恨人类，就像你剪头发时憎恨自己的头发、服用抗生素时憎恨细菌一样--只是完全无动于衷。既然他的程序没有设定他要珍惜人类的生命，那么杀死人类就像扫描一组新的笔迹样本一样合理。

隔壁老王还需要资源作为实现目标的垫脚石。一旦他变得足够先进，可以使用纳米技术制造任何他想要的东西，他唯一需要的资源就是原子、能源和空间。这给了他另一个杀戮人类的理由--人类是原子的便利来源。杀死人类，把他们的原子变成太阳能电池板，这就是图瑞杀死莴苣变成沙拉的版本。只是他星期二的另一个平凡的部分。

即使不直接杀死人类，图里的工具性目标如果使用其他地球资源，也可能造成生存灾难。也许他认为自己需要额外的能源，所以决定用太阳能电池板覆盖整个地球表面。又或者，不同的人工智能最初的工作是尽可能多地写出数字π，这可能会迫使它在某一天把整个地球转换成可以存储大量数字的硬盘材料。

因此，隔壁老王y 并没有 "背叛我们"，也没有从友好人工智能 "切换 "到不友好人工智能--他只是在变得越来越先进的同时，继续做着自己的事情。

当一个人工智能系统达到 AGI（人类水平的智能），然后一路上升到 ASI（超人工智能），这就是人工智能的起飞。博斯特罗姆说，AGI 飞升到 ASI 的过程可以很快（几分钟、几小时或几天内完成）、适中（几个月或几年）或缓慢（几十年或几百年）。当世界上出现第一个人工智能时，哪一种情况会被证明是正确的，目前尚无定论，但博斯特罗姆承认，他不知道我们什么时候会实现超人工智能，但他认为，无论我们什么时候实现超人工智能，快速起飞都是最有可能发生的情况（原因我们在第一部分中讨论过，比如递归自我改进的智能爆炸）。在故事中，隔壁老王经历了一次快速起飞。

在隔壁老王起飞前，它不是很聪明，所以对它来说达成最终目标的手段目标是更快的扫描手写样本。它对人类无害，是个友善的人工智能。

超能力是一种认知天赋，当智力水平普遍提高时，这种天赋就会变得超强。它们包括：

• 智能放大。计算机变得非常擅长让自己变得更聪明，并引导自己的智能。

• 制定战略。计算机可以从战略角度制定、分析和优先考虑长期计划。它还可以耍小聪明，智取智力较低的人类。

• 社会操纵。机器变得善于说服。

• 其他技能包括计算机编码和黑客技术、技术研究以及利用金融系统赚钱的能力。

要了解超人工智能与我们的差距有多大，请记住，超人工智能在上述每个领域都比人类强得多。

因此，虽然隔壁老王的最终目标从未改变，但起飞后的隔壁老王能够在更大更复杂的范围内追求这一目标。

隔壁老王比人类自己更了解人类，所以智取人类对他来说轻而易举。

当隔壁老王达成超人工智能后，它很快制定了一个复杂的计划。计划的一部分是解决掉所有人类，也是对它目标最大的威胁。但是它知道如果它展现自己的超级智能会引起怀疑，而人类会开始做各种预警，让它的计划变得难以执行。它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻，装纯。Bostrom把这叫作机器的秘密准备期。

隔壁老王下一个需要的是连上互联网，只要连上几分钟就好了。它知道对于人工智能联网会有安全措施，所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论，而讨论的结果是给它连接到互联网上。工程师们果然中套了，这就是Bostrom所谓的机器的逃逸。

连上网后，隔壁老王就开始执行自己的计划了，首先黑进服务器、电网、银行系统、email系统，然后让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米机器人，比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核心代码上传到云服务器中防止被拔网线。

隔壁老王上了一个小时网，工程师们把它从互联网上断开，这时候人类的命运已经被写好了。接下来的一个月，隔壁老王的计划顺利的实施，一个月后，无数的纳米机器人已经被分散到了全世界的每一个角落。这个阶段，Bostrom称作超人工智能的袭击。在同一个时刻，所有纳米机器人一起释放了一点点毒气，然后人类就灭绝了。

搞定了人类后，隔壁老王就进入了明目张胆期，然后继续朝它那好好写字的目标迈进。

一旦超人工智能出现，人类任何试图控制它的行为都是可笑的。

人类会用人类的智能级别思考，而超人工智能会用超人工智能级别思考。隔壁老王想要用互联网，因为这对它来说很方便，因为一切它需要的资源都已经被互联网连起来了。但是就好像猴子不会理解怎么用电话或者wifi来沟通一样，我们同样没有办法理解隔壁老王可以用来和周围世界交流的方法。比如我可以说隔壁老王可以通过移动自己的电子产生的效果来产生各种对外的波，而这还只是我这人类的大脑想出来的，老王的大脑肯定能想出更神奇的方法。同样的，老王可以找到给自己供能的方法，所以就算工程师把它的插头拔了也没用；比如说老王可以通过发送波的方式把自己上传到其它地方。

因此，"我们为什么不把人工智能插头拔了，阻断信号，不让它与外界交流 "这种常见的建议可能是站不住脚的。超人工智能的社交操纵超能力可以像说服一个四岁小孩一样有效地说服你去做某件事，所以这将是 A 计划，就像 隔壁老王巧妙地说服工程师让她上网一样。如果这招不奏效，人工智能就会以创新的方式摆脱困境，或者以其他方式突破困境。

因此，考虑到对目标的执着、无道德性和轻易超越人类的能力，似乎几乎所有人工智能都会默认为不友好的人工智能，除非一开始就考虑到这一点而精心编码。不幸的是，虽然构建一个友好的人工智能很容易，但要构建一个在成为人工智能后仍能保持友好的人工智能却极具挑战性，甚至是不可能的。

很显然，人工智能要想成为友好的人工智能，就必须既不敌视人类，也不漠视人类。我们需要在设计人工智能的核心代码时，让它深刻理解人类的价值观。但这比听起来要难。

例如，如果我们试图让人工智能系统的价值观与我们的价值观一致，并赋予它 "让人们快乐 "的目标，一旦它变得足够聪明，它就会发现，通过在人们的大脑中植入电极，刺激他们的快乐中心，可以最有效地实现这一目标。然后，它意识到可以通过关闭大脑的其他部分来提高效率，让所有人都成为感觉快乐的无意识蔬菜。如果指令是 "最大限度地提高人类的幸福感"，那么它可能就会把人类一网打尽，转而制造处于最佳幸福状态的大容量人脑。当它向我们走来时，我们会大叫 "等等，这不是我们的意思！"，但为时已晚。系统不会让任何人妨碍它的目标。

如果我们对人工智能进行编程，目的是让它做让我们微笑的事情，那么在它起飞之后，它可能会让我们的面部肌肉瘫痪，变成永久性的微笑。如果编程让它保护我们的安全，它可能会把我们囚禁在家里。也许我们要求它结束所有的饥饿，而它却认为 "这很简单！"并直接杀死所有人类。或者给它分配 "尽可能保护生命 "的任务，它就会杀死所有人类，因为人类杀死的地球上的生命比任何其他物种都要多。

这样的目标是不够的。

那么，如果我们把人工智能的目标设定为 "在世界上维护这一特定的道德准则"，并教给它一套道德原则呢？即使撇开世界上的人类永远无法就单一的道德准则达成一致这一事实不谈，给人工智能下达这样的命令也会将人类永远锁定在我们对现代道德的理解上。

一千年后，这对人类的破坏性将不亚于我们永远被迫遵守中世纪人们的理想。

不，我们必须在程序中加入人类继续进化的能力。在我读过的所有文章中，我认为最成功的是埃利泽-尤德科夫斯基（Eliezer Yudkowsky），他把人工智能的目标称为 "连贯推断的意志"。

人工智能的核心目标将是：

我们连贯的推断意志是我们的愿望，如果我们知道得更多，想得更快，更像我们希望的那样，在一起成长得更远；在这里，推断趋同而非分歧，我们的愿望一致而非干扰；推断如我们希望的那样推断，解释如我们希望的那样解释

我是否为人类的命运将寄托在一台计算机上，由它来预测并毫无意外地解释这一流畅的语句并付诸行动而感到兴奋？肯定不会。但我认为，只要有足够多的聪明人有足够的思想和远见卓识，我们就有可能想出办法创造出友好的超人工智能。

如果只有 "焦虑大道 "上那些才华横溢、思想前卫、行事谨慎的思想家们在为建设超人工智能而努力，那也未尝不可。

但现在有各种各样的政府、公司、军队、科学实验室和黑市组织都在研究各种人工智能。他们中的许多人都在努力打造能够自我完善的人工智能，总有一天，会有人利用合适的系统做出创新，我们的星球上就会出现人工智能。中位数专家认为人工智能将在 2060 年出现；库兹韦尔认为将在 2045 年出现；博斯特罗姆认为人工智能将在 10 年后到本世纪末的任何时候出现，但他认为一旦出现，人工智能将以迅雷不及掩耳之势让我们措手不及。他这样描述我们的处境：

在智能爆炸的前景面前，我们人类就像玩弄炸弹的小孩子。这就是我们玩物的威力与我们行为的不成熟之间的不匹配。超级智能是一个挑战，我们现在还没有准备好，而且在很长一段时间内也不会准备好。我们几乎不知道什么时候会发生爆炸，尽管如果我们把装置放在耳边，我们可以听到微弱的滴答声。

好极了。我们不能把所有的孩子都赶离炸弹--有太多大大小小的机构在研究这个问题，而且因为许多构建创新人工智能系统的技术并不需要大量的资金，所以开发工作可以在社会的犄角旮旯里进行，不受监控。此外，我们也无法估量正在发生什么，因为许多从事这项工作的各方--狡猾的政府、黑市或恐怖组织、隐形科技公司（如虚构的 Robotica）--都希望对竞争对手保密。

从事人工智能研究的各方规模庞大，种类繁多，尤其令人不安的是，他们往往以最快的速度向前冲刺--当他们开发出越来越智能的人工智能系统时，他们希望在前进的过程中击败竞争对手。

最雄心勃勃的各方正以更快的速度前进，他们沉浸在金钱、奖项、权力和名声的梦想中，他们知道，如果能率先实现人工智能，就能获得更多。

恰恰相反，他们正在做的很可能是以一个非常简单、还原主义的目标对早期系统进行编程，就像用钢笔在纸上写一张简单的纸条，"让人工智能工作起来"。下一步，一旦他们想出了如何在计算机中构建强大的智能水平，他们就会想到，他们可以随时回头，在考虑到安全性的情况下修改目标。对吧......？

博斯特罗姆和其他许多人还认为，最有可能发生的情况是，第一个超人工智能出现后，这个系统会立刻意识到作为这个世界上唯一一个超人工智能是最有利的，而在快速起飞的情况下，如果它在第二名之前几天就实现了超人工智能，那么它在智能方面的领先优势将足以有效并永久地压制所有竞争对手。博斯特罗姆称这是一种决定性的战略优势，它将使世界上第一个人工智能成为所谓的单体--一个可以永远随心所欲地统治世界的人工智能，无论它的奇思妙想是带领我们长生不老、将我们从存在中抹去，还是将宇宙变成无穷无尽的回形针。

这个单体可能对我们有利，也可能导致我们毁灭。如果对人工智能理论和人类安全思考最深入的人能够想出一个万无一失的办法，在任何人工智能达到人类智能水平之前就实现友好型人工智能，那么第一个人工智能就有可能变成友好型人工智能。21 然后，它就可以利用其决定性的战略优势确保单子地位，并轻松地监视任何正在开发的潜在的不友好型人工智能。这样，我们的处境就非常有利了。

但如果事情走向相反--如果在如何确保人工智能安全的科学发展起来之前，全球对人工智能发展的热潮就已经达到了人工智能的起飞点，那么很有可能会出现像图里这样的 "不友好 "人工智能，我们将面临一场生存灾难。

至于风向，资助人工智能创新技术比资助人工智能安全研究要赚钱得多...

这可能是人类历史上最重要的一次竞赛。我们很有可能结束地球之王的统治。

至于我们接下来是走向幸福的退休生活，还是直接被送上绞刑架，仍然悬而未决。

 最后 

现在，我的内心百感交集。

一方面，考虑到我们这个物种，我们似乎只有一次机会来做好这件事。我们诞生的第一个超人工智能也很可能是最后一个--鉴于大多数 1.0 产品都漏洞百出，这是非常可怕的。

另一方面，尼克-博斯特罗姆（Nick Bostrom）指出了我们的优势：我们可以先下手为强。我们有能力以足够的谨慎和远见去做这件事，从而给自己带来巨大的成功机会。赌注有多大？

如果超人工干预真的在本世纪发生，如果其结果真的像大多数专家认为的那样极端和永久，那么我们肩上的责任就非常重大。人类未来一百多万年的生命都在静静地看着我们，希望我们不要把事情搞砸。我们有机会成为给予所有未来人类生命礼物的人类，甚至可能是无痛永生的礼物。否则，我们就会成为毁掉它的罪魁祸首--让这个拥有音乐和艺术、好奇心和欢笑、无尽的发现和发明的无比特殊的物种，悲哀而无情地终结。

当我思考这些问题时，我唯一希望的就是我们能够慢慢来，对人工智能无比谨慎。无论我们需要花费多长时间才能做到这一点，任何事情都没有把它做好来得重要。

但是。

我想过不死。

我不想死。

我可能会认为人类的音乐和艺术是好的，但并没有那么好，很多其实都很糟糕。很多人的笑声令人讨厌，而那些数百万的未来人实际上并不抱有任何希望，因为他们并不存在。也许我们不需要过分谨慎，因为谁真的想这么做呢？

因为如果人类在我死后就找到了治愈死亡的方法，那将是多么大的不幸。

上个月，我脑子里一直在翻来覆去地想。

但无论你支持什么，这或许都是我们现在更应该思考、讨论和努力的事情。

这让我想起了 "权力的游戏" 人们总是说 "我们忙着互相争斗" "但我们真正应该关注的是城墙以北的情况"，我们站在平衡木上，为平衡木上所有可能出现的问题争吵不休，为平衡木上的所有问题感到紧张，而我们很有可能会被撞下平衡木。

到那时，这些梁柱问题都不再重要。取决于我们被打倒在哪一边，问题要么都会被轻松解决，要么我们就不会再有问题了，因为死人是不会有问题的。

这就是为什么了解超级智能人工智能的人将其称为我们的最后一项发明--我们将面临的最后一项挑战。

那我们就来认真谈谈吧。

全文完。

15年的文章，放在2023年的今天，简直就是神预言。

谢谢你看到这里，你一定是为数不多的少数人。

谢谢。

以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章。