early stopping助力大模型节省耗电。

ESCAPE SKY-HIGH COST: EARLY-STOPPING SELF- CONSISTENCY FOR MULTI-STEP REASONINGhttps://arxiv.org/pdf/2401.10480

引入了一种简单而有效的采样过程，称为早期停止自洽性 （ESC）。通过以高置信度窗口停止解码过程，ESC在不牺牲性能的情况下大大降低了SC的成本。进一步推导了ESC的控制方案，以动态选择不同任务和模型的性能-成本平衡，无需额外的模型能力和任务难度的先验知识。实证结果表明，ESC在六个流行的基准上大大减少了思维链推理的实际样本数量，同时达到了相当的性能。我们还展示了ESC的控制方案可以准确地预测各种任务和模型的性能成本权衡。额外的评估表明，考虑到不同的解码设置和提示，甚至在开放式生成任务上，ESC可以稳健地节省成本。

 Turning Dust into Gold: Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data

模型专业化的传统过程可以概括为三个步骤（Zhu et al. 2023）： 第一步是思维链蒸馏，使用从 LLM 生成的推理链训练小型模型。第二步可以看作是自我增强，进行自我蒸馏（Mobahi、Farajtabar 和 Bartlett 2020）或自我增强以进一步优化模型。此外，自洽性（Wang et al. 2023）被广泛用作有效的解码 。