远港舰队 - 【6】超人工智能【辉煌智能】（公开资料） - 小说全文阅读

【6】超人工智能【辉煌智能】（公开资料）

超级智能是一种假设的代理人，其智力超过了最聪明、最有天赋的人类头脑。“超级智能”也可以指问题解决系统（例如，超级智能语言翻译或工程助理）的属性，无论这些高级智力能力是否体现在世界上行动的代理中。超级智能可能是也可能不是由智能爆炸创造的，并与技术奇点相关联。

牛津大学哲学家尼克·博斯特罗姆（Nick Bostrom）将超级智能定义为“在几乎所有感兴趣的领域都大大超过人类认知能力的任何智力”。Fritz 程序没有达到这种超级智能的概念——尽管它在国际象棋上比人类好得多——因为 Fritz 在其他任务上无法胜过人类。

技术研究人员对当今人类智能被超越的可能性存在分歧。一些人认为，人工智能（AI）的进步可能会导致一般推理系统缺乏人类认知限制。其他人则认为，人类将进化或直接改变他们的生物学，以实现更强大的智能。

未来的几个研究情景结合了这两种可能性的元素，表明人类可能会与计算机交互，或将他们的思想上传到计算机，以实现实质性的智能放大。

一些研究人员认为，超级智能可能会在通用人工智能发展后不久出现。第一批通常具有智能的机器可能立即在至少某些形式的心理能力上拥有巨大的优势，包括完美回忆的能力、极其优越的知识库以及以生物实体不可能的方式进行多任务处理的能力。这可能使它们——无论是作为单个生物还是作为新物种——变得比人类强大得多，并取代它们。

由于此类技术的潜在社会影响，一些科学家和预测者一直在争论优先考虑对人类和机器认知增强可能的好处和风险的早期研究。

……

人工智能超级智能的可行性

人工智能，尤其是基础模型，取得了飞速的发展，在各种基准上都超过了人类的能力。近年来，人工智能超级智能（ASI）的可行性一直是一个日益多的讨论话题，尤其是随着人工智能（AI）技术的快速发展。

……

人工智能的进展和 AGI 的主张

AI 的最新发展，特别是基于 transformer 架构的大型语言模型（LLMs）的发展，导致了各种任务的重大改进。GPT-3、GPT-4、Claude 3.5 等模型已经展示了一些研究人员认为接近甚至展示通用人工智能（AGI）方面的能力。

然而，当前LLMs 构成 AGI 的说法是有争议的。批评者认为，这些模型虽然令人印象深刻，但仍然缺乏真正的理解，并且主要是复杂的模式匹配系统。

……

通往超级智能的途径

哲学家 David Chalmers 认为 AGI 是通往 ASI 的可能途径。他假设人工智能可以达到与人类智能相当的效果，被扩展以超越人类智能，然后被放大以在任意任务中支配人类。

……

最近的研究探索了实现超级智能的各种潜在途径：

扩展当前的 AI 系统 – 一些研究人员认为，持续扩展现有 AI 架构，尤其是基于 transformer 的模型，可能会导致 AGI 和潜在的 ASI。

新颖的架构 – 其他人则认为，可能受到神经科学启发的新 AI 架构可能是实现 AGI 和 ASI 所必需的。

混合系统 – 结合不同的 AI 方法，包括符号 AI 和神经网络，可能会带来更强大、更强大的系统。

计算优势

与生物智能相比，人工系统具有几个潜在优势：

速度 – 计算机组件的运行速度比生物神经元快得多。现代微处理器（~2 GHz）比神经元（~200 Hz）快 7 个数量级。

可扩展性 – AI 系统可能比生物大脑更容易在规模和计算能力上扩大规模。

模块化 – AI 系统的不同组件可以独立改进或更换。

记忆 – AI 系统可以拥有完美的回忆和庞大的知识库。在工作记忆方面，它受到的限制也比人类少得多。

多任务处理 – AI 可以以生物实体无法实现的方式同时执行多项任务。

基于 transformer 的模型的最新进展使一些研究人员推测，通往 ASI 的道路可能在于扩展和改进这些架构。这种观点表明，变压器模型或类似架构的持续改进可能会直接导致 ASI。

一些专家甚至认为，当前像 GPT-4 这样的大型语言模型可能已经表现出 AGI 或 ASI 功能的早期迹象。这种观点表明，从当前的 AI 到 ASI 的过渡可能比以前认为的更加持续和快速，模糊了狭义 AI、AGI 和 ASI 之间的界限。

然而，这种观点仍然存在争议。批评者认为，目前的模型虽然令人印象深刻，但仍然缺乏一般智能的关键方面，例如真正理解、推理和跨不同领域的适应性。

关于通往 ASI 的道路是涉及不同的 AGI 阶段还是更直接地扩展当前技术的争论仍在进行中，这对 AI 开发战略和安全考虑具有重大影响。

……

挑战和不确定性

尽管有这些潜在优势，但实现 ASI 仍然存在重大挑战和不确定性：

道德和安全问题 – ASI 的制定引发了许多需要解决的道德问题和潜在风险。

计算要求 – ASI 所需的计算资源可能远远超出当前的能力。

基本限制 – 适用于人工系统和生物系统的智能可能存在根本限制。

不可预测性 – ASI 的路径及其后果高度不确定且难以预测。

随着人工智能研究的持续快速发展，ASI 的可行性问题仍然是科学界激烈辩论和研究的话题。

……

生物超级智能的可行性

卡尔·萨根（Carl Sagan）认为，剖腹产和体外受精的出现可能使人类进化出更大的头部，从而通过自然选择改善人类智力的可遗传成分。

相比之下，杰拉尔德·克拉布特里（Gerald Crabtree）认为，选择压力的减少导致了人类智力缓慢的、长达几个世纪的下降相反，这个过程可能会继续下去。关于这两种可能性都没有科学共识，在这两种情况下，生物变化都是缓慢的，尤其是相对于文化变化的速度。

选择性育种、益智药、表观遗传调控和基因工程可以更快地提高人类智力。

博斯特罗姆写道，如果我们了解了智力的遗传成分，植入前遗传学诊断可用于选择智商增益高达 4 点的胚胎（如果从两个胚胎中选择一个胚胎），或具有更大增益的胚胎（例如，如果从 1000 个胚胎中选择一个胚胎，则最多可获得 24.3 个智商点）。如果这个过程在多代中迭代，则收益可能会提高一个数量级。Bostrom 建议，从胚胎干细胞中获得新的配子可用于快速迭代选择过程。由此类高智商人类组成的组织良好的社会有可能实现集体超级智能。

或者，集体智能可能是通过更好地组织当前个体智能水平的人类来构建的。几位作家认为，人类文明或其某些方面（例如，互联网或经济）正在像全球大脑一样运作，其容量远远超过其组成部分。

然而，如果这种系统性超级智能严重依赖人工组件，它可能有资格成为人工智能，而不是基于生物学的超级有机体。预测市场有时被认为是一个有效的集体智能系统的例子，该系统仅由人类组成（假设算法不用于为决策提供信息）。

智力放大的最后一种方法是直接增强人类个体，而不是增强他们的社会或生殖动态。这可以通过益智药、体细胞基因疗法或脑机接口来实现。然而，Bostrom 对前两种方法的可扩展性表示怀疑，并认为设计超级智能的 cyborg 界面是一个 AI 完整的问题。

……

预测

大多数接受调查的人工智能研究人员预计，机器最终能够在智能方面与人类相媲美，尽管对于何时可能发生这种情况几乎没有共识。在 2006 年的 AI@50 会议上，18% 的与会者表示预计到 2056 年，机器将能够“模拟学习和人类智能的所有其他方面”；41% 的与会者预计这将在 2056 年之后的某个时候发生；41% 的受访者预计机器永远不会达到这一里程碑。

在对 AI 领域引用次数最多的 100 位作者的调查中（截至 2013 年 5 月，根据 Microsoft 学术搜索），受访者预期机器“至少可以像典型人类一样执行大多数人类职业”（假设没有发生全球灾难）且置信度为 10% 的年份是 2024 年（平均 2034 年，标准开发 33 年）， 50% 的置信度是 2050 年（平均值 2072 年，圣开发区 110 年），置信度为 90% 的 2070 年（平均 2168 年，圣开发区 342 年）。

这些估计不包括 1.2% 的受访者表示没有一年会达到 10% 的置信度，4.1% 的受访者表示“从不”的置信度为 50%，16.5% 的受访者表示“从不”的置信度为 90%。受访者认为，机器超级智能在发明后 30 年内发明的可能性中位数为 50%，大约是人类水平的机器智能。

在 2022 年的一项调查中，受访者预期“高级机器智能”且置信度为 50% 的中位数年份为 2061 年。该调查将高级机器智能的成就定义为，当独立机器能够比人类工人更好、更便宜地完成每项任务时。

2023 年，OpenAI 领导者 Sam Altman、Greg Brockman 和 Ilya Sutskever 发布了关于超级智能治理的建议，他们认为这可能会在不到 10 年的时间内发生。2024 年，Ilya Sutskever 离开 OpenAI，共同创立了初创公司 Safe Superintelligence，该公司专注于创建设计安全的超级智能，同时避免“因管理开销或产品周期而分心”。

……

设计注意事项

超级智能 AI 系统的设计提出了关于这些系统应该具有什么价值和目标的关键问题。已经提出了几项建议：

价值对齐提案

连贯外推意志（CEV） – 如果人类知识更渊博、更理性，AI 应该具有人类会趋同的价值观。

道德正确性（MR） – 人工智能应该被编程去做道德上正确的事情，依靠其卓越的认知能力来确定道德行为。

道德允许性（MP） – AI 应保持在道德允许性范围内，同时追求与人类价值观一致的目标（类似于 CEV）。

Bostrom 详细阐述了这些概念：

与其实施人类连贯的外推意志，不如尝试构建一个 AI 来做道德上正确的事情，依靠 AI 卓越的认知能力来弄清楚哪些行为符合该描述。我们可以称这个提案为“道德正确”（MR）

MR 似乎也有一些缺点。它依赖于“道德正确”的概念，这是一个出了名的困难的概念，自古以来，哲学家们就一直在努力解决这一问题，但尚未就其分析达成共识。选择对“道德正确性”的错误解释可能会导致在道德上非常错误的结果（人类疑似有些城市化了，ASI大西王表示：吾此番杀汝，实为救汝也。）

人们可以尝试保留 MR 模型的基本思想，同时通过关注道德允许性来降低其要求：这个想法是，只要它不以道德上不允许的方式行事，我们就可以让 AI 追求人类的 CEV。

……