o1 背后的推理旨趣，斯坦福和伯克利帮咱们总订盟了！

在最新的一篇长达100 页的论文中，他们将 o1 模子背后的推理机制索求成了一个通用的框架——元链式想维（Meta-CoT）。

这个元链式想维（Meta-CoT）到底是什么瞻仰呢？

浅易来说，它不错让模子在推理经过中反想推理任务——

这么不仅能得出论断，它还不错匡助咱们找到更多新的参议想路和设施。

比如在经典的 24 点问题中，传统的 CoT 固然也能得出正确的论断，但是 Meta-CoT 在推理经过中不啻会关心输入的问题，而是在推理经过中想考更多的子问题并进行尝试：

这亦然 o1 模子不错在 HARP 等数学基准中大幅开端的原因：

SynthLabs 公司的 CEO Nathan Lile 还自信地默示：

元链式想维（Meta-CoT）是通往超等智能（Superintelligence）的正确说念路。下一波东说念主工智能即是元链式想维（Meta-CoT）轮回。

元链式想维 ( Meta-CoT ) 框架为什么传统 CoT 岂论用了

在提议新框架之前，咱们先要调治一个问题：为什么传统模子通常在高档推理任务中"卡壳"。

其实啊，主要原因在于鬼话语模子的预磨练和指示窜改语料库数据中，不包含信得过数据生成经过。

以数学问题为例，网上和教科书中虽有会有解答，但关于谬妄的论证设施为何失效，却很少有关联的贵府，

如斯一来，在碰到复杂推理问题时，被中间枢纽困住的模子就很难窜改到正确的想考处所。

而在全新的高中奥数水平数学基准测试中，OpenAI 的 o1 模子系列发达出众，不仅远超以往的模子，并且问题越难上风越赫然。

从生成 tokens 数目看，其他鬼话语模子生成的措置有狡计长度与东说念主类摆布，这也即是评释，它们仅仅在搜索匹配磨练数据。

而 o1 模子在浅易问题上生成的 tokens 数与东说念主类额外，在高难度问题上，生成 tokens 数则大幅加多，与传统模子拉开差距。

这标明 o1 模子的 CoT 袒护范围更广，能更好地接近信得过数据生成经过。

Meta-CoT 的主要想想

咱们先来看一说念 2011 年海外数学奥林匹克竞赛的 "风车问题"：

平面上有至少两个点的有限聚集，假定淘气三点不共线，从过其中少量的直线运行，让直线绕该点顺时针旋转，碰到聚集中另少量时，新点成为旋转轴持续旋转，此经过无穷捏续。能否选一个点和过该点的直线，让聚集中每个点都无穷次成为旋转轴呢？

官方给出的解答如下：

这说念题的解答固然很简陋，不依赖先验学问，但却是竞赛中最难的题之一，600 多名参赛者中惟有少数东说念主答对。

主要难点在于，它的解答经过不是线性的。许多东说念主会遴礼聘凸包构造或哈密顿图论设施，最终都会失败。

而答对的东说念主主若是依靠浩荡几何探索和归纳推理，才最终找到了谜底。

也即是说，这个解答经过不是从左到右绳趋尺步生成的。

从潜在变量经过角度看，经典想维链是对潜在推理链进行边际化，得出最终谜底的概率。

但关于复杂问题，信得过解答生成经过应该是解答的合股概率分裂，取决于潜在生成经过。

这即是团队所说的元想维链（Meta - CoT）经过，使用这个想路，就不错大大擢升鬼话语模子在复杂问题上的推理才智。

里面化搜索经过

Meta-CoT 的一个热切才能是，在濒临高档推理问题时，鬼话语模子会勤苦提高搜索的服从。

以前模子往常会使用Best-of-N 设施，也即是落寞生成多个完好谜底，然后挑出最佳的，但这个设施比较耗时。

在 Meta-CoT 中，参议东说念主员把推理经过想象成一个"步步走"的游戏，也即是马尔可夫决策经过（MDP）。

在这个经过里，他们还引入一个经过奖励模子（PRM），它不错用来评估中间才能能能否得出正确谜底。

如果发现某个解答处所没但愿，模子就会尽快停驻，回到可能奏效的中间情景，再行寻找措置有狡计。

这种树搜索设施在浅易推理任务里一经显出赫然的上风，在实质欺骗中也有奏效案例。

论文的主要作家之一 Rafael Rafailov 是斯坦福毕业的博士，也过问过许多数学竞赛，他默示这个新的搜索经过和他我方解答题目时的情景亦然相通的：

评估措置有狡计的潜在设施、修剪莫得赢得进展的处所、探索其他可能的分支认识、尝试把柄直观构建通往最终狡计的旅途

合成元链式想维

另外一个挑战在于，大模子往常会使用强化学习设施从往时警戒里学习好的推理战略，但当碰到新规模的推理问题时，用传统 RL 磨练出来的战略就不太好用了。

为了提魁岸模子措置不练习规模问题的才智，参议东说念主员尝试在 Meta-CoT 中让大模子把推理经过当成一场"冒险游戏"，也即是部分可不雅测马尔可夫决策经过（POMDP），相配合乎用来升级模子。

在这个经过中，模子不错把柄不恻然况窜改战略。

以下图中的迷宫游戏为例，模子一运行不错庸俗行走，但冉冉地，通过将不同的过甚加入到旅途数据集或删除数据蚁合，就会渐渐找到正确的处所。

并且，通过经过监督，模子能实时得到响应，知说念我方是否走在正确的解答说念路上。

参议东说念主员还发现，让模子主动探索不同的推理旅途，能大大擢升它的发达。在推行里，模子会勤苦尝试多样设施，法例在措置复杂问题时，答对的概率也提高了许多。

论文还谈判了通过搜索算法（如下图中的蒙特卡罗树搜索（MCTS）和 A* 搜索）生成合成磨练数据的更多设施，这些设施不错匡助模子在高下文中学习并推论复杂的搜索战略。

使用新框架的 LLM 发达全面擢升

那么比拟原始的 CoT，使用 Meta-CoT 新框架的 LLM 性能到底变强了几许呢？底下沿途来望望论文中的推行部分。

推行想象

在数据集聚方面，本论文主要使用了多个数学问题数据集，包括 HARP、NuminaMath、Omni-MATH 和 OpenMathInstruct-2。通过对这些数据集进行过滤和处理，生成了合乎磨练的合成数据。

推行中的模子包括现时主流的多个 LLM，包括 Llama 3.1 8B、70B 和 GPT-4o 等。

推行想象包括指示调优和强化学习后磨练两个阶段。指示调优阶段使用线性化的搜索轨迹进行磨练，强化学习后磨练阶段使用 E-RL2 狡计进行磨练。

在指示调优阶段，团队使用了多种优化狡计，包括圭臬经过克隆设施和元链式想维优化狡计。

在强化学习后磨练阶段，他们使用了不同的扣头率和优化算法，如 PPO 和 REINFORCE。

法例与分析

小规模的推行法例：在小规模推行中，使用 MCTS 和 A* 搜索算法生成的合成数据显赫提高了模子在复杂数学问题上的发达。

高下文探索的推行法例：在高下文探索推行中，模子在数学问题上的发达跟着高下文探索序列长度的加多而提高。然则，过长的序列长度也会导致性能下落，这也领导咱们需要在探索和推理之间找到均衡。

回溯推行法例：在回溯推行中，o1、DeepSeek-R1、Gemini 2.0 Flash Thinking 等模子在解答数学题的经过中，在复杂数学问题上的发达都跟着回溯次数的加多而提高。这标明回溯是一种灵验的谬妄改良机制。

空洞推行法例：空洞推行法例标明，使用元链式想维框架不错显赫提高 LLMs 在复杂推理任务上的发达。举例，使用 E-RL2   狡计磨练的模子在 HARP 数学基准测试中的发达比基线模子提高了约 25%。

团队还在狡计更多数学参议

论文提议的通过自教推力器、A* 算法等设施进行合成的元链式想维（Meta-CoT）的框架，通过显式建模推理经过和搜索经过，使得 LLMs 在各项常见的推行任务中进行复杂推理的发达都有所擢升。

团队成员也默示，改日会进一步考据所提议设施服从的必要性，修复出更灵验的经过监督和考据本事。

此外，针对现时 LLM 浩荡在数学问题等逻辑性较强的任务上发达欠安的神情，他们还正在构建大数学（Big Math） 表情。

这个表情的狡计是团员逾越50万个高质地、可考据的数学问题，并最终统共开源！

对关联表情感瞻仰的一又友们不错点击底下的皆集了解更多内容～

参考皆集：

[ 1 ] https://arxiv.org/pdf/2501.04682v1

[ 2 ] https://x.com/NathanThinks/status/1877510438621163987开yun体育网