参数极小,性能超强。
微软开源最强小参数模型Phi-4,自动驾驶峰会即将召开
本文总结了微软开源小参数模型Phi-4的重大突破以及即将在北京举办的第四届全球自动驾驶峰会信息。
1. 微软Phi-4模型开源
微软研究院开源了其最新研发的超强小参数模型Phi-4,该模型仅有140亿参数,却在多个基准测试中超越了包括GPT-4o在内的众多知名模型,甚至在性能上与参数量达4050亿的Llama-3.1媲美。Phi-4在MMLU测试中取得了84.8的高分,在GPQA和MATH测试中也超过了GPT-4o,并在美国数学竞赛AMC测试中获得91.8分。
Phi-4的成功得益于高质量的合成数据。该模型使用了约4000亿个未加权的tokens,这些数据涵盖了50多种不同类型,并遵循多样性、细腻性与复杂性、准确性和推理链等原则生成。除了合成数据,Phi-4还使用了经过严格筛选和过滤的有机数据,并支持多种语言。
在训练方面,Phi-4采用混合数据策略,结合合成数据和高质量有机数据进行训练,并通过监督微调(SFT)和直接偏好优化(DPO)技术进行优化,最终实现了在多个基准测试中取得优异成绩。
Phi-4开源并支持MIT许可证下商业用途,其开源地址为:https://huggingface.co/microsoft/phi-4/tree/main 。该模型的轻量级特性使其能够在普通硬件上运行,例如苹果M4 Pro笔记本电脑。
2. 第四届全球自动驾驶峰会
第四届全球自动驾驶峰会将于1月14日在北京举办。峰会将包括主会场和分会场,内容涵盖开幕式、端到端自动驾驶创新论坛、城市NOA专题论坛、自动驾驶视觉语言模型技术研讨会以及自动驾驶世界模型技术研讨会等。峰会演讲嘉宾已全部敲定,具体议程可参考文末海报。
本次峰会为业内人士提供了一个交流学习的平台,关注自动驾驶技术的未来发展趋势。
有意参加峰会者可申请免费票或购票。
总而言之,微软Phi-4模型的开源是自然语言处理领域的一大进步,其轻量级和高性能特性为未来的应用提供了更多可能性。同时,即将召开的全球自动驾驶峰会也为自动驾驶行业的发展带来了新的机遇。
联系作者
文章来源:智猩猩GenAI
作者微信:
作者简介:智猩猩旗下公众号之一,深入关注大模型与AI智能体,及时搜罗生成式AI技术产品。