开云体育(中国)官方网站

你有莫得想过，通盘数学题你解对了，但如若再行来一遍，你还能解对吗？

这个问题听起来很怪，但对检修大谈话模子作念推理来说，它是个大问题。当前流行的作念法是让模子我方生成一堆解题经由，然后用对错来打分，对的加分，错的扣分。这套逻辑毛糙荼毒，但有个致命的盲点：一次答对不代表真的会，一次答错也不代表全齐不会。

这篇来自KAIST（韩国科学本领院）的论文，标题叫《Surprising Success, Repeated Failure》，讲的等于如何把这个盲点补上。

先说说这件事到底难在哪

当前检修推理模子主流用的活动叫RLVR

**RLVR**：全称是"带可考据奖励的强化学习"，毛糙说等于让模子我方作念题，作念完之后用法度谜底查验对分歧，对了奖励，错了管制，靠这个信号来改换模子

这套活动的代表是DeepSeek-R1和GRPO算法，成果照实可以。但问题出在奖励的粒度上：模子写一大段推理经由，可能几百上千个token，终末只判断"对"或"错"，然后把这一个分数对等分给这段话里的每一个词。

这就好比一场足球比赛，全队踢了90分钟，终末进了一个球，西宾把这个球的功劳对等分给场上每一个球员，包括阿谁在中场饱食镇日晃了半小时的东说念主，也包括阿谁精确直塞的东说念主。

如若不分歧功劳大小会怎么？检修信号就会变得很稀，明明是某一步的要道回荡决定了成败，却被稀释成了全队对等分。盘考者们早就理解到这个问题，于是运转琢磨如何把奖励拆到每个词上去，这等于所谓的"细粒度信用分派"。

有东说念主尝试用特等的模子去打分，有东说念主靠屡次采样去推断每一步的价值，还有东说念主操纵"特权信息"（比如提前知说念正确谜底的想路）来斥地。这些活动齐灵验，但齐很贵，要么加模子，要么加计较量，要么需要边远检修场景里根底拿不到的信息。

于是就有东说念见识想了一个险些免费的信号：计谋熵。

计谋熵这个东西，到底告诉了咱们什么

**计谋熵**：模子在生成下一个词时，对各式可能词语的不笃定进程。熵越高阐扬模子越纠结，有好几个词齐差未几想选；熵越低阐扬模子很笃定，险些认准了一个词

这个信号是白捡的，因为模子每生成一个词，本来就要计较扫数候选词的概率分散，从这个分散里顺遂算一下熵，不需要特等跑模子、不需要特等采样。

一经有盘考发现，高熵的位置常常是推理旅途的"歧路口"，模子在这里游荡要不要换个想路。于是很当然地，有东说念见识想：既然高熵代表探索的要道点，那就在检修时多给高熵位置一些暖热,不论是加分如故扣分,齐往这些位置歪斜。

这篇论文的作家们以为分歧劲。他们淡薄一个机敏的问题：不笃定性,真的应该在奖励和管制时被同等对待吗?

举个例子。假定一段回复最终作念对了，其中有个高熵的回荡点，模子那时其实很游荡要不要往这个所在走。当前你重赏这个位置，没问题，这照实是值得饱读动的探索。但如若一段回复最终作念错了，相通有个高熵的回荡点呢？如若你在这里下重手管制，你管制的恰正是模子还留有退路、还能采纳别的所在去赈济的阿谁歧路口。

这就像医师看病历。病东说念主痊可了，医师回头看当初阿谁"要不要换药"的游荡决定，以为这步棋走对了，值得写进课本任性表扬。但病东说念主如若没治好，医师翻到团结类"游荡要不要换药"的节点，反而下重手品评这个游荡,这不是秦伯嫁女吗？确凿该挨品评的，是那些病东说念主一经病危、医师却还坚握老决议不愿改的"遒劲"时候，也等于低熵、确信但时弊的决策点。如若不作念这个分歧，你其实是在管制"还有救"的病东说念主，放过"花枝招展"的坚握。

为了考据这个直观，作家们作念了一个很塌实的实验。

用再行采样考据一个反直观的发现

他们找来Qwen3-4B和8B两个基础模子，挑了20说念中等难度的数学题，每说念题选出两个答对的回复和两个答错的回复。在每个回复里面，找出一段32个词的高熵窗口和一段低熵窗口，然后固定住窗口之前的实践，让模子从这里再行生成64次，望望为止如何。

为止极度反直观。

关于本来答对的回复，如若从高熵窗口再行采样，准确率唯一39%到42%阁下；但如若从低熵窗口再行采样，准确率能到58%到63%。

这阐扬什么？阿谁答对的经由,如若是靠一次命运好的高熵抉择撞对的，换一次可能就不灵了。这种告捷很难复制，论文管它叫"不测的告捷"。

而关于本来答错的回复，情况适值反过来：从低熵窗口再行采样，准确率唯一3%到7%,险些服气如故错;但从高熵窗口再行采样，准确率能栽培到16%阁下。

这阐扬模子在低熵位置上是"断念眼"地坚握时弊阶梯，换若干次齐没用，这叫"近似的失败"；但团结个时弊谜底里，那些高熵的歧路口其实还留着翻盘的契机。

盘考者们还作念了一个挺成心想的词频分析,看模子在答对和答错的回复里,高熵位置和低熵位置分别爱用什么词。为止发现,高熵位置上不论答对答错齐爱出现"让咱们试试""酌量一下""换个想路"这类探索性词汇,而低熵位置上,在答错的回复里,反而聚会出现"最终""阐发""因此"这种下论断的词。

这幅图景其实挺灵活的：模子在时弊的路上开云体育(中国)官方网站,嘴上说着"最终""阐发