OpenAI Day2的直播含金量被低估了。

原标题：OpenAI Day2：支持微调o1, 核心技术竟更早来自字节跳动！「强化微调」技术分析
文章来源：夕小瑶科技说
内容字数：4628字

OpenAI推出强化微调技术，提升模型性能

在最近的直播中，OpenAI宣布了一项名为“强化微调”（Reinforcement Fine-Tuning,ReFT）的新技术，这一技术将为科研和专业领域的研究者提供快速、低成本的模型微调方案。尽管直播中并未出现奥特曼，但这一技术的推出被认为是2024年的重大惊喜之一。

1. 强化微调的定义与优势

强化微调是一种全新的模型定制技术，与传统的监督微调（Supervised Fine-Tuning,SFT）不同，ReFT允许开发者通过少量高质量任务数据集（仅需几十个示例）对模型进行针对性优化。此技术强调推理能力的提升，使AI在特定领域的复杂任务中表现得更为精准。

2. 实验与结果

在直播中，OpenAI展示了强化微调在医疗领域的应用。通过对o1 mini模型进行强化微调，研究人员使用约1100个病例报告进行训练，结果显示该模型在预测罕见遗传疾病基因的能力上，甚至超过了最新发布的o1模型。

3. ReFT的技术路线

ReFT结合了监督微调和强化学习（Reinforcement Learning,RL）的方法，分为预热阶段和强化学习阶段。在预热阶段，模型通过SFT进行基础训练，而在强化学习阶段，使用PPO算法进一步优化模型性能。这一过程使得模型能够通过多条推理路径学习，显著提高解答的准确性。

4. 未来展望

OpenAI的这项技术为领域垂直模型和小型化模型的开发开辟了新空间。未来，各个领域的o1模型将会快速涌现，开发者和企业可以更轻松地结合领域数据和业务逻辑进行训练，提升AI模型在特定领域的推理能力。这将加速AI在各个应用场景的落地，并增强企业的竞争优势。

5. 申请与测试

目前，OpenAI已开启alpha测试，公开使用计划预计在2025年春季推出。感兴趣的开发者可以通过OpenAI官网申请参与测试，进一步体验这一前沿技术。

总之，OpenAI的强化微调技术为AI模型的定制与优化提供了新思路，有望在科研和行业应用中发挥重要作用。

联系作者

文章来源：夕小瑶科技说
作者微信：
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189