也许二十年后再回首，我们会发现，现在我们就站在下一个“互联网级奇迹”的起点上。
vLLM项目参与者2024年经历回顾
本文回顾了作者2024年参与vLLM开源项目的心路历程，从初入项目到深度参与，见证了vLLM的成长和发展，并分享了在项目中遇到的挑战和收获，以及对AI未来发展的思考。
1. 项目缘起与ChatGPT的冲击
作者在2019年UC Berkeley的RISELab暑期研修期间结识了vLLM的未来创始人，五年后因ChatGPT的出现以及对AI研究现状的困惑，决定转向机器学习系统研究，最终参与了vLLM项目。
2. 初入vLLM：开源项目的管理与挑战
作者加入vLLM后，首先将PyTorch的开源管理经验移植到vLLM，并通过订阅GitHub消息，快速了解项目，并解决问题。期间，作者主要负责解决PyTorch版本升级带来的兼容性问题，以及vLLM的分布式推理。
3. PyTorch 2.2的挑战与John Schulman的合作
将vLLM依赖的PyTorch从2.1升级到2.2的过程中，作者发现了内存占用异常增加的问题，经过三个月的排查，最终找到并解决了问题。在解决RLHF流程中类似问题时，作者与OpenAI的John Schulman合作，将权重更新时间从3分钟压缩到4秒。
4. 从GPU Poor到GPU Rich：社区的帮助与支持
由于资源限制，vLLM早期性能测试受限。在社区的帮助下，NVIDIA、AWS、Google Cloud等提供了大量计算资源，解决了燃眉之急。作者强调了社区支持对vLLM发展的重要性。
5. LLaMA 3.1 405B的挑战与成功
作者参与了对LLaMA 3.1 405B模型的支持工作，开发了多机分布式推理功能，成功支持了该模型的推理，并最终使得Meta的十个官方发布合作伙伴中有八个选择了vLLM。
6. vLLM的重构与优化：性能与硬件兼容性
为了解决早期性能跟踪机制不足的问题，作者参与了vLLM的重构工作，增加了基于ZMQ的API服务器、多步调度等特性，并创建了vllm.platforms子模块，以提高性能和硬件兼容性。
7. torch.compile集成与PyTorch生态系统
作者推动vLLM加入PyTorch生态系统，并与PyTorch团队合作，开发了vLLM专属的推理优化torch.compile技术栈。
8. PyTorch Conference与Meetup：技术交流与学习
作者参加了PyTorch 2024大会，并与多位业内专家交流学习，分享了在硅谷技术社区的参与经历。
9. vLLM的未来与开源精神
作者认为vLLM将成为智能时代的“Linux”，并希望通过加入Linux基金会，进一步壮大社区，共同建设智能时代的生态系统。
10. 硬件亲和性与算法发展
作者引用《The Hardware Lottery》论文，强调了硬件亲和性对算法成功的重要性，建议算法研究人员应与硬件发展紧密结合，而非仅仅依靠“硬件彩票”。
11. 泡沫与奇迹：对AI未来发展的展望
作者认为AI发展如同互联网发展一样，经历泡沫后仍将拥有巨大的潜力，并对AI的未来发展充满信心。
联系作者
文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下公众号之一，深入关注大模型与AI智能体，及时搜罗生成式AI技术产品。