大模型不仅有Scaling Law，还有Densing Law
原标题：LLM最大能力密度100天翻一倍！清华刘知远团队提出Densing Law
文章来源：机器之心
内容字数：5265字
大模型的发展趋势：Scaling Law与Densing Law
近期，AI领域针对大模型的Scaling Law（尺度定律）是否达到瓶颈产生了分歧。一方面，有观点认为Scaling Law已经“撞墙”，无法继续依赖数据和参数规模的堆叠来提升性能；而另一方面，OpenAI的CEO Sam Altman则认为其潜力尚未穷尽。
1. Densing Law的提出
清华大学刘知远教授团队提出了新的概念——Densing Law（密度定律），该定律表明大模型的能力密度（即模型性能与参数规模的比率）随时间以指数级增长。研究显示，自2023年以来，大模型的能力密度约每3.3个月翻一倍，即每100天用一半的参数量即可实现当前最优模型的性能。
2. 重要推论
基于Densing Law，研究团队提出了以下几个重要推论：
3. 能力密度的计算
研究团队引入了参考模型的概念，通过比较不同参数规模下模型的性能，建立了参数量与性能之间的映射关系。目标模型的能力密度被定义为有效参数量与实际参数量的比值。
4. 未来的发展方向
Densing Law揭示了AI发展中的新阶段，强调电力、算力与智力三大核心引擎的快速增长。随着模型能力密度的提升，AI技术的可持续发展也提供了新的可能性，尤其是在边缘计算与云计算的协同下，预计将实现“AI无处不在”的愿景。
综上所述，清华大学的研究为大模型的发展提供了新的视角，强调能力密度的重要性，并指出未来在模型设计与应用上需持续探索与创新。
联系作者
文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台
暂无评论...