文 | 追问 nextquestion

" 机器究竟还需要多万古刻，才能委果具备东说念主类大脑的领悟才调？"这个困扰东说念主工智能领域数十年的根人道问题，在 2024 年末再次成为人人科技界的焦点。

当东说念主工智能在图像识别、天然话语处理等特定领域不绝冲破时，一个更具挑战性的目标恒久拿三搬四：让机器得回举一反三的知致力、轮廓主见的推理才调，以及如同东说念主类一般商量和调配领悟资源的才调。

就在这场对于机器智能极限的持续争辩中，OpenAI 最近发布的新式东说念主工智能系统，为这个传统命题注入了新的变数。这家总部位于旧金山、因设备 ChatGPT 而风生水起的 AI 巨头，于 9 月发布了被称为 O1 的新一代大型话语模子（LLM）系统。而就在本月，业内又传出 OpenAI 正在设备代号为 O3 的更强项系统，这个被称为"通用东说念主工智能（AGI）前奏"的款式引发了新一轮存眷。与以往的 AI 模子比拟，从 O1 到 O3 的工夫阶梯王人展现出了一种更接近东说念主类领悟样式的开动机制，这些冲破性进展正在从头界说咱们对东说念主工智能后劲的领悟。

AGI 一朝杀青，可能为东说念主类带来前所未有的冲破：从风景变化的料理，到流行病的防控，再到癌症、阿尔茨海默病等恶疾的攻克。关联词，这么宽绰的力量也可能带来不笃定性，并对东说念主类组成潜在风险。加拿大蒙特利尔大学深度学习商量员 Yoshua Bengio 示意："东说念主类对 AI 的误用或失控，王人可能导致严重后果。"

比年来 LLM 的立异性进展引发了对于 AGI 大概行将到来的种种意象。但一些商量东说念主员示意，洽商到 LLM 的构建和教师样式，它们单靠本人不足以杀青 AGI，"仍然穷乏一些枢纽部分。"

毫无疑问，对于 AGI 的问题如今比以往任何时候王人愈加蹙迫和过失。"我泰半生王人以为，指摘 AGI 的东说念主是不对惯例的，"亚利桑那州立大学的算计机科学家 Subbarao Kambhampati 说，"但如今，每个东说念主王人在指摘它。你不可称通盘东说念主王人‘不对惯例’了。"

01 AGI 辩白为何转向

"通用东说念主工智能"（AGI）这一术语大致在 2007 岁首度投入主流视线，其时它手脚同名册本的标题由 AI 商量东说念主员 Ben Goertzel 和 Cassio Pennachin 推出。天然这一术语的确切含义尚不解确，但频繁指代具有类似东说念主类推理和泛化才调的 AI 系统。在东说念主工智能发展的大部分历史中，东说念主们普遍以为 AGI 仍然是一个尚未杀青的目标。举例，谷歌 DeepMind 设备的 AlphaGo 圭表专为围棋对弈而瞎想。它在围棋领域打败了顶尖的东说念主类棋手，但其超东说念主才调仅限于围棋，也即是说，这是它唯独的擅长领域。

LLM [ 1 ] 的新才调正在透澈更正这一场合。与东说念主类大脑雷同，LLM 领有鄙俚的才调，这使得一些商量东说念主员认真洽商某种气象的通用东说念主工智能可能行将到来 [ 1 ] ，甚而已经存在。

当你洽商到商量东说念主员仅部分了解 LLM 若何杀青这一目标时，这种才调的广度愈加令东说念主战抖。LLM 是一种神经网罗，其灵感大致开首于东说念主脑。它由分层陈设的东说念主工神经元（或算计单位）组成，这些层与层之间的招引强度通过可调参数示意。在教师经过中，强项的 LLM ——举例 o1、Claude（Anthropic 公司设备）以及谷歌的 Gemini ——依赖一种称为"下一个词元斟酌（next token prediction ) "的步调。在该步调中，模子会类似输入已被分割的文本样本（即词元块）。这些词元不错是通盘这个词单词或仅仅一组字符。序列中的终末一个词元被荫藏或"屏蔽"，并条件模子对其进行斟酌。然后，教师算法将斟酌与屏蔽词元进行比较，并调度模子的参数，使其下次能够作念出更好的斟酌。

这依然过不绝类似——频繁使用数十亿对话片断、科学文本和编程代码——直到模子能够可靠地斟酌荫藏的词元。在此阶段，模子参数已捕捉到教师数据的统计结构偏激中包含的学问。随后参数被固定，模子使用它们对新的查询或"领导"生成斟酌，这些领导不一定在其教师数据中出现过，这依然过被称为"推理"。

一种称为" Transformer "的神经网罗架构的使用，使 LLM 的才调权贵超过了之前的建树。Transformer 使得模子能够学习到某些词元对其他词元有至极强的影响力，即使它们在文本样本中相距甚远。这使得 LLM 能够以看似效法东说念主类的样式解析话语——举例，差别以下句子中" bank "一词的两种含义："当河岸（bank）泛滥时，激流损坏了银行（bank）的 ATM，导致无法取款。"

这种步调在多种应用场景中取得了权贵后果，举例生成算计机圭表来处置用天然话语刻画的问题、细腻学术著作和恢复数学问题。

跟着 LLM 限度的增大，一些新的才调也随之出现——淌若 LLM 实足大，AGI 也可能出现。其中一个例子是"念念维链（CoT）领导"。这种步调包括向 LLM 示范若何将复杂问题领会为更小的门径加以处置，或平直领导其按门径解答问题。关联词，对于较小限度的 LLM，这依然过并不具备权贵的效果。

02 LLM 的才调界限

根据 OpenAI 的先容，" CoT 领导"已被整合到 o1 的开动机制中，成为其强项功能的中枢组成部分。谷歌前 AI 商量员 Francois Chollet 指出，o1 配备了一个 CoT 生成器，该生成器能够针对用户查询生成普遍 CoT 领导，并通过特定机制筛选出最好领导。

在教师中，o1 不仅学习若何斟酌下一个词元，还掌持了针对特定查询聘任最好 CoT 领导的才调。OpenAI 示意，恰是收获于 CoT 推理的引入，o1-preview（o1 的高等版块）在外洋数学奥林匹克竞赛（一项面向高中生的人人闻明数学赛事）的预选磨砺中正确处置了 83% 的问题。比拟之下，OpenAI 此前最强项的模子 GPT-4o 在吞并磨砺中的正确率仅为 13%。

关联词，尽管 o1 的复杂性令东说念主肃穆，Kambhampati 和 Chollet 均以为，它仍存在彰着的局限性，并未达到 AGI 的圭臬。

举例，在需要多步商量的任务中，Kambhampati 的团队发现，天然 o1 在最多 16 步的商量任务中走漏优异，但当任务复杂度增多至 20 至 40 步时，其性能速即下落 [ 2 ] 。

Chollet 在挑战 o1-preview 时也发现了类似的局限性。他瞎想了一项轮廓推理与泛化测试，以评估通往 AGI 的发展程度。测试经受视觉谜题的气象，处置这些问题需要稽查示例来推断出轮廓法例，并以此来处置类似新问题。放弃骄矜，东说念主类显著更容易作念到。Chollet 进一步指出：" LLM 无法委果顺应新事物，因为他们基本上莫得才调将我方掌持的学问，动态地进行复杂的重组，以顺应新的环境。"

03 LLM 能否迈向 AGI？

那么，LLM 是否有才调最终迈向 AGI 呢？

值得细心的是，底层的 Transformer 架构不仅能够处理文本，还适用于其他类型的信息（如图像和音频），前提是不错为这些数据瞎想合适的词元化步调。纽约大学商量机器学习的 Andrew Wilson 偏激团队指出，这可能与不同类型数据分享的一个特质筹商：这些数据集的" Kolmogorov 复杂度"较低，即生成这些数据所需的最短算计机圭表的长度较短 [ 3 ] 。

商量还发现，Transformer 在学习低 Kolmogorov 复杂度的数据模式方面走漏尤为出色，而这种才调会跟着模子限度的增大而不绝增强。Transformer 具备对多种可能性进行建模的才调，这擢升了教师算法发现问题的相宜处置决策的概率，而这种"走漏力"会跟着模子限度的增前途一步增强。Wilson 示意，这些是"通用学习所需的一些枢纽身分"。

尽管 Wilson 以为 AGI 面前仍驴年马月，但他示意，使用 Transformer 架构的 LLM 和其他 AI 系统已具备一些类似 AGI 行径的枢纽特质。

关联词，基于 Transformer 的 LLM 也败露出一些固有的局限性。

最初，教师模子所需的数据资源正在缓缓枯竭。专注于 AI 趋势商量的旧金山 EpochAI 商量所估量 [ 4 ] ，公开可用的教师文本数据集可能会在 2026 年至 2032 年之间消费。

此外，尽管 LLM 的限度不绝增大，其性能擢升的幅度却不足以往。尚不解确这是否与数据中新颖性减少筹商（因为大部分数据已被使用过），或是源于其他未知原因。后者对 LLM 来说是个坏兆头。

Google DeepMind 的伦敦商量副总裁 RaiaHadsell 提议了另一项质疑。她指出，尽管基于 Transformer 的 LLM 具备强项功能，其单一的目标——斟酌下一个词元——过于局限，难以杀青委果的 AGI。她建议，构建能够一次性或以举座样式生成处置决策的模子，可能更接近杀青 AGI 的可能。用于构建此类模子的算法已在一些现存的非 LLM 系统中得以应用，举例 OpenAI 的 DALL-E，该系统能够根据天然话语刻画生成传神甚而超推行的图像。关联词，这些系统无法与 LLM 的鄙俚功能相比好意思。

04 构建 AI 的天下模子

对于若何鼓励 AGI 发展的冲破性工夫，神经科学家的提供了直观性的过失启示。他们以为，东说念主类智能的根源在于大脑能够构建一个"天下模子"，即对周围环境的里面表征。这种模子能够模拟不同的行动决策并斟酌自后果，从而相沿商量与推理。此外，通过模拟多种场景，这种模子不错将特定领域中学到的手段泛化到全新任务中。

一些商量说明宣称，已有把柄标明 LLM 里面可能酿成了初步的天下模子。在一项商量中 [ 5 ] ，麻省理工学院的 Wes Gurnee 和 Max Tegmark 发现，当 LLM 使用包含天下多地信息的数据集进行教师时，跟着鄙俚应用，LLM 能够在里面对周围天下酿成相应的表征。关联词，其他商量东说念主员指出，面前尚无把柄标明这些 LLM 专揽天下手脚模子进行模拟或因果关系学习。

在另一项商量中 [ 6 ] ，哈佛大学算计机科学家 KennethLi 偏激共事发现，一个袖珍 LLM 在使用玩家不才 Othello 棋时的步法手脚教师数据后，学会了里面表征棋盘景况的才调，并专揽这种表征正确斟酌了下一步的正当棋步。

关联词，其他商量标明，面前 AI 系统构建的天下模子可能并不可靠。在一项商量中 [ 7 ] ，哈佛大学的算计机科学家 Keyon Vafa 偏激团队使用纽约市出租车行程的转弯数据集教师了一个基于 Transformer 的模子，该模子以接近 100% 的准确率完成了任务。通过分析模子生成的转弯序列，商量东说念主员发现模子依赖一个里面舆图来完成斟酌。关联词，这个里面舆图与曼哈顿的本体舆图险些毫无相似之处。

▷AI 的不可能的街说念 . 图源： [ 7 ]  

Vafa 指出，"该舆图包含物理上不可能的街说念地点，以及进步其他街说念的高架说念路。"当商量东说念主员调度测试数据，加入教师数据中未出现的只怕绕说念时，模子无法斟酌下一次转弯，标明其对新情境的顺应才调较弱。

05 反馈的过失性

GoogleDeepMind 位于加利福尼亚山景城的 AGI 商量团队成员 DileepGeorge 指出，面前的 LLM 艰巨一个枢纽特质：里面反馈。东说念主类大脑具有鄙俚的反馈招引，使信息能够在神经元层之间杀青双向流动。这种机制使感官系统的信息不错流向大脑的高等层，以创建反应环境的天下模子。同期，天下模子的信息也不错向下传播，辅导进一步感官信息的获取。这种双向经过对感知至关过失，举例，大脑专揽天下模子推断感官输入的潜在原因。此外，这些经过还相沿商量，专揽天下模子模拟不同的行动决策。

关联词，面前的 LLM 仅能以附加样式使用反馈。举例，在 o1 中，里面的 CoT 领导机制，通过生成领导协助恢复查询，并在最毕生成谜底前反馈给 LLM。但正如 Chollet 的测试所骄矜，这种机制并不可确保轮廓推理才调的可靠性。

Kambhampati 等商量东说念主员尝试为 LLM 添加一种称为考据器的外部模块。这些模块在特定高下文中检查 LLM 生成的谜底，举例考据旅行商量的可行性。淌若谜底不够完善，考据器会条件 LLM 从头开动查询 [ 8 ] 。Kambhampati 的团队发现，借助外部考据器的 LLM，在生成旅行商量时走漏权贵优于浅近 LLM，然则商量东说念主员需要为每个任务瞎想有益的考据器。"莫得通用考据器，" Kambhampati 指出。比拟之下，AGI 系统可能需要自主构建考据器，以顺应不悯恻境，就像东说念主类专揽轮廓法例确保在新任务中进行正确推理雷同。

基于这些想法设备新式 AI 系统的商量仍在初步阶段。举例，Bengio 正在探索若何构建不同于刻下基于 Transformer 架构的 AI 系统。他提议了一种被称为"生成流网罗（generative flow networks）"的步调，旨在使单一 AI 系统既能构建天下模子，又能专揽这些模子完成推理与商量。

LLM 面对的另一个过失进攻是其对数据的宽绰需求。伦敦大学学院表面神经科学家 Karl Friston 提议，改日的 AI 系统可通过自主决定从环境中采样数据的数目来提高效力，而非不祥地罗致通盘可用数据。他以为，这种自主性可能是 AGI 所必需的。"在刻下的大型话语模子或生成式 AI 中，尚无法体现这种委果的自主性。淌若某种 AI 能够杀青一定程度的自主聘任，我以为这将是迈向 AGI 的枢纽一步。"

能够构建灵验天下模子并集成反馈回路的 AI 系统，可能会权贵减少对外部数据的依赖。这些系统能够通过开动里面模拟，提议反事实假定，并借此杀青领路、推理与商量。举例，2018 年，商量东说念主员 DavidHa 和 J ü rgen Schmidhuber 说明 [ 9 ] ，他们设备了一种神经网罗，该网罗可高效构建东说念主工环境的天下模子，并专揽此模子教师 AI 驾驶编造赛车。

淌若你对这种自主性 AI 系统的主见感到不安，你并不是一个东说念主。除了商量若何构建 AGI，Bengio 还积极倡导在 AI 系统的瞎想和监管中引入安全性。他以为，商量应存眷教师能够保证本人行径安全的模子，举例树立机制来算计模子违犯某些特定安全旁边的概率，并在概率过高时拒却选择行动。此外，政府需要确保 AI 的安全使用。"咱们需要一个民主经过来确保个东说念主、公司甚而军方，以对公众安全的样式使用和设备 AI。"

那么，杀青 AGI 是否可能？算计机科学家以为莫得旨趣不这么以为。"莫得表面上的进攻，" George 说。圣达菲商量所 ( Santa FeInstitute ) 的算计机科学家 Melanie Mitchell 示意甘愿："东说念主类和一些其他动物已经说明这极少是可行的。在旨趣上，我以为生物系统与由其他材料制成的系统之间不存在职何至极的相反，能够破碎非生物系统变得智能。"

尽管如斯，对于 AGI 的杀青时刻，学术界仍然艰巨共鸣：斟酌范围从几年之内到至少十年以后。George 指出，淌若 AGI 系统被创造出来，咱们将通过其行径走漏来阐发其存在。而 Chollet 则怀疑它的到来会相称低调："当 AGI 到来时，它可能不会像你想象的那样可想而知或掀动风波。AGI 的全面后劲需要时刻缓缓败露。它将最初被发明，然后经过膨大和应用，最终才会委果更正天下。"

原文集结：https://www.nature.com/articles/d41586-024-03905-1

参考文件：

1.Bubeck, S. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2303.12712 ( 2023 ) .

2.Valmeekam, K., Stechly, K. & Kambhampati, S. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.13373 ( 2024 ) .

3.Goldblum, M., Finzi, M., Rowan, K. & Wilson, A. G. Preprint at arXiv https://doi.org/10.48550/arXiv.2304.05366 ( 2024 ) .

4.Villalobos, P. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2211.04325 ( 2024 ) .

5.Gurnee, W. & Tegmark, M. Preprint at arXiv https://doi.org/10.48550/arXiv.2310.02207 ( 2024 ) .

6.Li, K. et al. In Proc. Eleventh International Conference on Learning Representations ( ICLR, 2023 ) .

7.Vafa, K., Chen, J. Y., Rambachan, A., Kleinberg, J. & Mullainathan, S. Preprint at https://doi.org/10.48550/arXiv.2406.03689 ( 2024 )

8.Gundawar, A. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2405.20625 ( 2024 ) .

9.Ha, D. & Schmidhuber开云官网切尔西赞助商, J. Preprint at arXiv https://doi.org/10.48550/arXiv.1803.10122 ( 2018 ) .