跟年夜模子说：要多想。往年 1 月，DeepSeek R1 引爆了寰球科技界，它翻新的方式，年夜幅简化的算力需要撼动了英伟达万亿市值，更激发了全行业的反思。在通往 AGI（通用人工智能）的路上，咱们当初不用一味扩展算力范围，更高效的新方式带来了更多的翻新可能。近来一段时光，全天下的科技公司、研讨团队都在实验复现 DeepSeek，但假如这个时间有人说「我还能年夜幅改良 AI 的推理效力」，你会怎样想？s1 论文作者，斯坦福年夜学在读博士 Niklas Muennighoff 表现，DeepSeek r1 令人高兴，但其缺乏 OpenAI 的测试时光扩大图而且须要大批数据。咱们推出的 s1 仅应用 1K 样本跟简略的测试时光干涉即可重现 o1 的预览扩大跟机能。这个新方式叫 s1。本周，斯坦福年夜学、华盛顿年夜学等研讨机构实验了最简化实现测试时光扩大（test-time scaling）的方式，仅让模子练习 1000 个成绩就取得了超出 o1 的强推感性能。测试时光扩大是一种有前程的言语建模新方式，它应用额定的测试时光盘算来进步模子机能。此前，OpenAI 的 o1 模子展现了这种才能，但并未公然分享其方式。良多任务都在实验复现 o1，这些实验包括蒙特卡洛树搜寻、多智能体等等。往年 1 月开源的 DeepSeek R1 胜利实现了 o1 级其余机能，它是在数百万个样本上经由过程多练习阶段强化进修实现的。在 s1 的新任务中，研讨职员追求最简略的方式来实现测试时光扩大。它们构建了一个小型数据集 s1K，此中包括 1000 个成绩，并依据三个尺度（难度、多样性跟品质）与推理轨迹停止配对。在此基本上，研讨职员开辟了「估算强迫」来把持测试时光盘算，方式是强迫停止模子的思考进程，或许在模子试图停止时屡次将「等候」附加到模子的天生中以延伸思考。这有可能会招致模子细心检讨其谜底，修复其不准确的推理步调。在 s1K 上对 Qwen2.5-32B-Instruct 言语模子停止监视微调（16 块 H100 GPU，26 分钟）并为其设定估算强迫后，新模子 s1-32B 在比赛数学识题上的表示比 o1-preview 超过 27%（MATH 跟 AIME24）。论文：《s1: Simple test-time scaling》 论文链接：https://arxiv.org/abs/2501.19393名目链接：https://github.com/simplescaling/s1测试时光扩大本文将测试时光扩大方式分为两类：序列扩大，即后续盘算依附于先前的盘算成果；并行扩大，即盘算自力运转。本文专一于序列扩大，由于直不雅上其存在更好的扩大性，由于后续盘算能够基于旁边成果停止，从而实现更深档次的推理跟迭代优化。别的，本文还提出了新的序列扩大方式以及对其停止基准测试的方法。估算强迫（Budget forcing）。本文提出了一种简略的解码时光（decoding-time ）干涉方式，经由过程在测试时强迫设定最年夜或最小思考 token 数目来实现。图 3 为该方式的一个示例展现，阐明了这种简略的方式能够领导模子得出更好的谜底。详细来说，本文经由过程简略地追加思考停止（end-of-thinking）token 分开符跟「Final Answer:」来强迫设定最年夜 token 数目，从而提前退出思考阶段，使模子供给其以后的最佳谜底。为了强迫设定最小 token 数目，本文克制思考停止 token 分开符的天生，并抉择性地在模子确当前推理轨迹后追加字符串「Wait」，以激励模子反思其以后天生的内容。基线。本文用以下方式对估算强迫停止基准测试：（I）前提长度把持方式，该方式依附于在提醒中告知模子它应当天生多长时光。本文按粒度将它们分组为（a）token 前提把持，在提醒中指定思考 token 的下限；（b）步调前提把持，指定思考步调的下限；（c）类前提把持，编写两个通用提醒，告知模子思考一小段时光或很长一段时光。（II）谢绝采样，即采样直到天生合乎预约的盘算估算。试验在练习阶段。本文应用 s1K 数据集对 Qwen2.5-32B-Instruct 停止监视微调，以取得本文的模子 s1-32B。微调是在 16 台 NVIDIA H100 GPU 上应用 PyTorch FSDP 停止的，耗时 26 分钟。评价。本文采取了三个推理基准停止评价。AIME24 包括 30 个成绩，这些成绩来自 2024 年 1 月 31 日至 2 月 1 日举办的美国 AIME 数学比赛。AIME 用来测试模子在算术、代数、计数、多少何、数论、概率等范畴的才能；MATH500 是一个包括差别难度比赛数学识题的基准；GPQA Diamond 包括 198 个来自生物学、化学跟物理学的博士级迷信成绩。其余模子。本文将 s1-32B 与以下模子停止基准测试对照：OpenAI o1 闭源系列模子；DeepSeek r1 开源模子；Qwen 的 QwQ-32B-preview 等模子。值得一提的是，s1-32B 是完整开源的，包含权重、推理数据跟代码。机能测试时光扩大。图 1 展现了 s1-32B 在应用估算强迫技巧后，跟着测试时光盘算资本的增添，机能的变更情形。图 4（左）扩大了图 1（中）的图表，成果表现固然本文能够经由过程估算强迫技巧跟更多的测试时盘算资本晋升 AIME24 的机能，但终极在六倍盘算量时趋于陡峭。能够得出过于频仍地克制思考停止 token 分开符可能会招致模子堕入轮回反复，而不是连续推理。图 4（右）展现了在对 Qwen2.5-32B-Instruct 停止 1,000 个样本的练习，从而天生 s1-32B，并为其装备简略的估算强迫技巧后，它进入了一种差别的扩大范式。经由过程少数投票在基本模子上扩大测试时光盘算资本无奈遇上 s1-32B 的机能，这验证了这始终觉，即序列扩大比并行扩大更无效。图 5 供给了 s1-32B 的天生示例。样本效力。图 2（右）跟表 1 将 s1-32B 与其余模子停止了比拟。成果表现， s1-32B 是样本效力最高的开放数据推理模子。只管只在额定的 1000 个样本长进行练习，但它的表示显明优于基本模子（Qwen2.5-32B-Instruct）。r1-32B 在仅应用 SFT 的情形下表示出比 s1-32B 更好的机能，但前者是在 800 倍以上的推理样本长进行练习的。仅用 1000 个样本能否能到达这特性能仍是一个悬而未决的成绩。s1-32B 在 AIME24 上多少乎与 Gemini 2.0 Thinking 相婚配，由于 s1-32B 是从 Gemini 2.0 中蒸馏出来的，这标明本文的蒸馏顺序可能是无效的。最后，本文还停止了一系列融化试验，感兴致的读者，能够检查原论文，懂得更多内容。