走向技术“暗面”。

原标题：在可以 RL 的地方，将迎来更多「李世石时刻」
文章来源：特工宇宙
内容字数：3892字

强化学习引领LLM新纪元：Kimi k1.5的突破与AGI的曙光

人工智能领域正经历着前所未有的快速发展，大型语言模型（LLM）的进步尤为引人注目。而强化学习（RL），作为训练LLM的关键方法，正扮演着越来越重要的角色。本文将深入探讨国内团队Kimi在RL-LLM方向取得的突破性进展，以及其对AGI发展带来的启示。

Kimi k1.5：简洁高效的RL框架

受到AlphaGo等AI里程碑式成就的启发，Kimi团队另辟蹊径，采用了一种简单而有效的RL框架和训练方式，成功打造出多模态能力达到o1水平的Kimi k1.5模型。不同于复杂的蒙特卡洛树搜索（MCTS）和过程奖励模型（PRM），Kimi巧妙地利用提示工程构建CoT轨迹，进行轻量级的SFT预热，并通过创新的Partial rollouts技术提升训练效率，实现模型在训练过程中复用之前的轨迹片段，从而节省大量计算资源。

超越SOTA：短链和长链思维的双重突破

Kimi k1.5在短链式思维（short-CoT）模式下，显著超越了GPT-4o和Claude 3.5 Sonnet等全球领先的短思考模型，在数学、代码、视觉多模态和通用能力方面展现出强大的优势。更令人惊叹的是，在长链式思维（long-CoT）模式下，k1.5的表现已达到OpenAI o1正式版的水平。这标志着在短链和长链思维两个方向上，Kimi都取得了突破性的进展。

长链式思维的涌现：解决数据难题

Kimi团队的另一个重要发现是，模型在RL训练过程中，性能提升的同时，token数量也会自然增加，这意味着长链式思维（CoT）可以在RL训练过程中涌现出来。这解决了困扰业界已久的难题：如何获取大量的长链式思维数据。Kimi和DeepSeek团队在同日发布的技术报告，相互验证了这一结论，标志着在长链式思维数据获取问题上取得了里程碑式的进展。

大道至简：赋能模型自主探索

Kimi的成功并非依赖于复杂的算法，而是秉持着“大道至简”的理念。通过赋予模型一个可衡量的目标，并允许其自主探索和犯错，Kimi让模型能够像人一样地思考，从而展现出强大的学习和解决问题的能力。这为未来的LLM发展提供了新的思路。

k1.5的额外亮点：long2short技术和混合部署框架

除了核心RL框架，Kimi k1.5还包含了long2short技术和训练推理混合部署框架。long2short技术通过模型合并和DPO等技术，将长链式思维模型中学习到的思维先验转移到短链式思维模型中，提升模型效率。而混合部署框架则能高效共享和管理资源，提升训练推理性能。

AGI的曙光：持续迭代与未来展望

Kimi k1.5是Kimi团队连续第三个月发布的k系列强化学习模型升级版本，展现了其在AGI探索道路上的持续努力。这一突破性进展不仅推动了LLM技术的快速发展，也为AGI的实现带来了新的希望。我们有理由相信，随着技术的不断迭代，AI将在更多领域超越人类，为人类社会带来福祉。

正如文中所言，我们正步入一个新的时代，需要新的范式。一小群对技术充满热情的年轻人，正在用他们的努力，改变着世界，推动着人工智能技术不断进步，最终造福人类。

联系作者

文章来源：特工宇宙
作者微信：
作者简介：Agent Universe，专注于智能体的AI科技媒体。