DeepSeek的写作能力为何飞跃？PTX是否真正做到了绕开CUDA的垄断？
DeepSeek的飞跃与中国大模型发展
本文总结了智东西对DeepSeek技术突破的报道，以及五位高校教授对其技术原理、未来方向和中国大模型发展路径的解读。
1. DeepSeek R1：复现OpenAI o1的强推理能力
DeepSeek R1成功复现了OpenAI o1的深度推理能力，并开源了详细的技术介绍。其训练流程的两大亮点是：一是创造性地基于大规模强化学习，实现了纯RL驱动的强推理模型R1-Zero；二是将强化学习能力泛化到写作等其他领域，提升了模型的跨任务泛化能力。R1的成功，得益于其基于规则的强化学习方法，以及深度推理SFT数据和通用SFT数据的混合微调。
2. DeepSeek的成本优化策略
DeepSeek V3的预训练成本相对较低，这归功于其在系统软件方面的优化。DeepSeek采用了MoE架构，并通过负载均衡优化、通信优化、内存优化和计算优化等策略，显著提升了训练效率，降低了成本。例如，它使用了Auxiliary-Loss-Free Load Balancing策略来解决MoE架构的负载均衡问题，并通过DualPipe算法来降低专家并行带来的通信开销。
3. PTX优化与CUDA垄断
DeepSeek利用定制的PTX指令和自动调整通信块大小，减少了L2缓存的使用和对其他SM的干扰，提升了硬件性能。虽然媒体解读为“绕开CUDA垄断”，但实际上PTX是更底层的指令集，通过优化PTX可以更精细地控制硬件，从而提升性能。这属于底层优化，而非绕过CUDA。
4. DeepSeek的写作能力飞跃
DeepSeek R1的写作能力显著提升，这可能归因于强基模型在规模化强化学习后的涌现能力，也可能与较少的安全对齐有关。R1在一些通用领域的任务上推理效果仍有待提升。
5. 中国大模型发展启示
DeepSeek的成功为中国大模型发展提供了宝贵的经验：一是强调人才培养和长期基础创新；二是展示了在资源受限的情况下，通过算法创新和软硬件协同优化，依然可以取得世界领先成果；三是开源策略的重要性，让更多人受益并推动领域发展；四是国产软硬件协同优化的重要性，可以形成闭环生态，最终实现模型、系统和芯片的闭环发展。
6. MoE架构及长思维链设计
MoE架构并非AGI的唯一最优解，未来模型架构的设计会更多地考虑底层硬件的优化。长思维链设计对硬件提出了更高的要求，需要更大的存储能力和更高的带宽，未来可能需要新的硬件架构来支持。
总而言之，DeepSeek的成功并非偶然，而是长期积累和创新的结果。它为中国大模型的发展指明了方向，也为全球AI研究带来了新的启示。
联系作者
文章来源：智东西
作者微信：
作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。