快手Klear团队：梯度保留协调熵，解决强化学习中的熵不稳定问题

 Klear 语言大模型团队完成，核心作者苏振鹏，潘雷宇，吕民轩，胡文凭，张富峥，周国睿等。快手 Klear 语言大模型团队聚焦在基础语言大模型研发、Agent RL 等前沿技术创新等方向，积累务实的探索 AGI 的能力边界，并不断推进 AI 领域新技术和新产品的发展。此前，该团队已开源了 Klear-46B-A2.5B 和 Klear-Reasoner-8B 等模型，其中 Klear-Reasoner-8B 在数学和代码的基准测试上达到了同参数级别模型的 SOTA 效果。

近年来，随着 OpenAI O1、Deepseek R1、KIMI K2 等大模型不断展示出复杂推理与思维链能力，强化学习已成为推动语言模型智能跃升的关键技术环节。相比传统的监督微调，RL 通过奖励信号直接优化模型行为，使模型能够在训练中自我探索、自我修正。

然而，这一阶段的训练并非稳态过程。业界在大规模 RLVR 实践中普遍发现，模型熵的失衡，即探索与利用的不协调，是导致模型训练不稳定、性能难以提升的核心原因。针对这一长期瓶颈，快手 Klear 团队提出了一种新的强化学习算法 CE-GPPO（Coordinating Entropy via Gradient-Preserving Policy Optimization），该方法以「熵」为核心视角，重新审视 RL 中梯度裁剪机制的本质影响，并对应地提出了梯度保留策略，在保证训练稳定的前提下，纳入裁剪区间外的梯度使模型能够在训练过程中达到探索与收敛的平衡。