AI 回应问题太慢太长且不消开云体育(中国)官方网站，有莫得能让大模子提前住手想考的设施？

华为建议了首个在 Qwen3 上还灵验的高效推理设施——S-GRPO，滋扰了想维链「冗余想考」瓶颈。

通过  "串行分组 + 衰减奖励"  的揣度打算，在保证推理准确性的前提下，让模子学会提前隔断想考，推理提速 60%，生成更精准有用的谜底。

S-GRPO 适衔尾为现时 Post Training（考试后优化）范式中的终末一步，在确保模子事先存在的推理才能不受毁伤的情况下，使能模子在想维链的早期阶段即可生成质地更高的推理旅途，并在想考充分后隐式地提前退出。

OpenAI o1, Deepseek-R1 等推理模子依赖 Test-Time Scaling law 护士复杂的任务。

关联词，过长的想维链序列的生成也权贵加多了规画负载和推理延长，这提高了这些模子在实质应用中的部署门槛，且引入了许多冗余的想考。

S-GRPO 的全称为序列分组衰减奖励计谋优化（Serial-Group Decaying-Reward  Policy  Optimization），旨在耕种谎言语模子（LLM）的推理效果和准确性，护士冗余想考问题。

核脸色念

传统的推理优化设施，如 GRPO（Group Reward Policy Optimization），接管并行生成多条完好推理旅途的样貌（如下图左侧所示），并通过 0/1 奖励机制对每条旅途的最终谜底进行评价。

关联词，这种设施未能充分愚弄推理历程中的中间信息，也未能灵验耕种推理效果。

S-GRPO 的蜕变之处在于引入了"早退推理"的见识（如上图右侧所示）。

它通过对单条完好推理旅途进行分段截断，生成多个"早退推理"分支（Serial Group），并通过一种指数衰减的奖励机制对这些分支的谜底进行评价。

具体来说：

早退推理旅途（Serial Group）

模子在推理历程中，不错在职意中间法子住手推理并径直生成谜底。这些不同位置的早退旅途被用于考试模子，以评估在不同推理深度下的推理质地。

衰减奖励计谋（Decaying Reward Strategy）

关于每个早退旅途，若是谜底正确，则证据其推理深度分派奖励，越早退出推理的正确谜底，奖励越高（举例，奖励值按照  

的法例递减）；若是谜底空虚，则奖励为 0。这种机制不仅荧惑模子尽早得出正确谜底，还确保了推理的准确性。

设施

S-GRPO 的考试框架分为三个主要阶段，如下图所示：

完好推理伸开（Full Thought Rollout）

模子最初生成一条完好的推理旅途（

），即从运转想考法子（

）到最终的推理已毕秀美（

） 和谜底（）。这一阶段为后续的早退旅途生成提供了基础。

早退推理伸开（Early-exit Thought Rollout）

在完好推理旅途的基础上，模子通过立时截断生成多个早退旅途（

）。

每条早退旅途在截断点插入辅导语" Time is limited, stop thinking and start answering. nnn "，明确指点模子住手推理并生成谜底（

）。

这些早退旅途酿成了一个"序列分组"（Serial Group），用于考试模子在不同推理深度下的弘扬。

奖励规画与参数更新（Reward Computation and Parameter Update）

关于每条早退旅途，模子证据衰减奖励计谋规画奖励值（），并进一步规画上风值（

）。

这些上风值用于优化模子参数，最终使模子学会在适宜的时机住手推理并生成高质地谜底。

下图直不雅地展现了 S-GRPO 在考试历程中何如采样在不同位置提前退出的 completions 以及赋予奖励。

关于第一个退出的位置，模子给出的中间谜底空虚，则将奖励置为 0。

关于后续给出正确谜底的提前退出，则基于退出位置赋予衰减的正向奖励值，越早退出收益越高，从而荧惑模子探索简易且正确的想考。

践诺斥逐

为了考据 S-GRPO 的弘扬，作家在 5 个挑战性的推理 benchmark 上进行了测评，其中包含 4 个数学推理任务（GSM8K、MATH-500、AMC 2023、AIME 2024）、1 个科学推理任务（GPQA Diamond）。

评估目的采纳准确率和生成 token 数目两维度评测。践诺采纳了 R1-Distill-Qwen 系列模子（7B,14B）和 Qwen3 系列模子（8B, 14B）。

践诺斥逐标明 S-GRPO 权贵地迥殊了现存的 baseline。

相较于 vanilla 的推理模子，S-GRPO 平均提高了 0.72 到 6.08 个点准确率的同期责难了 35.4% 到 61.1% 的生成长度。

S-GRPO 在考试集域内（In Domain）的数学推理 benchmark 上（GSM8K、MATH-500、AMC 2023、AIME 2024）和考试集域外（Out of Domain）的科学推理题目上（GPQA Diamond）王人取得了权贵的耕种，充分讲解了该设施的灵验性和鲁棒性。

比拟于现时其它 SOTA 高效推理设施，S-GRPO 最佳的兼顾了正确性和效果。

比拟于 DEER，S-GRPO 在繁难问题与陋劣问题上王人能灵验责难想考长度并看守精准度。

比拟于原始 GRPO，S-GRPO 权贵责难了推理长度的同期有着周边的准确率。

而与其它的高效推理考试设施比拟，S-GRPO 保不休了准确率，而它们均对回应的准确温顺能有毁伤。

践诺还有计划了 S-GRPO 在不同生成长度预算下的性能。

通过抑止推理时的生成长度预算由短到长，比较 S-GRPO 与 vaniila CoT 在 GSM8K 和 AIME 2024 上准确率与实质生成长度的变化。

下图中的践诺斥逐展现出在不同的预算下，S-GRPO 王人比 vaniila CoT 的准确率高且生成长度更短。

此外，践诺还标明，在长度预算少的情况下，S-GRPO 比拟 vaniila CoT 的准确率增益更权贵，实质生成长度周边；在长度预算高的情况下，S-GRPO 比拟 vaniila CoT 的实质生成长度更短，准确率略高。

S-GRPO 比拟 vaniila CoT 的两个变化趋势王人更舒服。这标明 S-GRPO 只需要较低的长度预算就不错达到较高的准确率，响应出 S-GRPO 不错生成简易且正确的想考旅途。

为了考据 S-GRPO 中每个揣度打算的灵验性，践诺建造了三个不同的消融践诺。

下表的践诺斥逐标明仅保留 two-time rollouts 中采样的最短且正确的 completion 的建造天然进一步裁减了推理长度，然则会毁伤模子的推理正确性。

消去对短输出提供高讲述的揣度打算，即通盘对正确的采样斥逐王人给以高讲述，会导致模子推理依旧冗长，这是由于更长的推理更容易取得正确的斥逐，模子会束缚到探索长序列推理的主义。

移除去 Serial-Group Generation 的揣度打算后，S-GRPO 退化成 GRPO，模子在准确率和推理长度上取得了与 w/o. Decaying（All 1）周边的弘扬，这证据行为 S-GRPO 中弗成或缺的一环，Serial-Group Generation 的揣度打算本人不会毁伤模子在 RL 中的探索才能。

上图中对比了 S-GRPO 与 vanilla 推理历程以及相通 thinking budget 下硬截断迫使模子给出论断的输出内容对比。

尽管雷同给出了正确的谜底，S-GRPO 仅使用了一半不到的想考 budget，讲解了 S-GRPO 灵验护士了 overthinking 问题。

假如径直对原始推理内容在相通 thinking budget 处截断，模子无法基于已有的想考内容得到正确的论断，这证据 S-GRPO 更精准地定位到了准确的解题想路。

这么就灵验地匡助模子向简易且正确的想考旅途束缚，幸免了关于每个解题旅途浅尝辄止的 underthinking 问题。

感深嗜的一又友可到原文检验更多细节。

论文标题：S-GRPO: Early Exit via Reinforcement Learning in Reasoning Models

论文接续：https://arxiv.org/abs/2505.07686

一键三连「点赞」「转发」「防备心」

迎接在辩驳区留住你的想法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云体育(中国)官方网站