小模型会越来越流行。
原标题：a16z华裔合伙人Jennifer Li：小模型+端侧AI将定义2025
文章来源：Founder Park
内容字数：5919字
a16z合伙人Jennifer Li预测：小型设备端生成式AI模型将在2024年崛起
本文总结了a16z合伙人Jennifer Li在The a16z Podcast中关于生成式AI的最新见解，重点关注设备端运行的小型模型的未来重要性。
小型设备端生成式AI模型的兴起
Jennifer Li预测，在设备端运行的小型生成式AI模型将在2024年变得更受欢迎。她认为，类似于Uber、Instacart等应用中已广泛使用的传统机器学习模型，生成图像、语音、视频的生成式模型也将逐渐在设备端普及。
智能手机算力与模型效率的提升
针对小型模型如何在算力有限的智能手机上运行的问题，Jennifer Li指出，智能手机的算力已显著提升，足以运行数十亿参数规模的模型。此外，模型蒸馏技术可以将大型模型压缩成更小、更高效的模型，同时保留其大部分功能。这使得在设备端运行生成式AI模型成为可能。
设备端运行模型的优势
在设备端运行模型具有诸多优势：首先，它能显著提升用户体验，提供实时、高性能、流畅的应用响应，避免了云端处理带来的延迟；其次，它优化了算力资源利用，减少了对云端服务器的依赖；最后，它增强了用户数据隐私保护，因为数据处理在本地进行。
设备端AI模型的应用场景
Jennifer Li预测，实时语音助手将成为设备端AI模型的重要应用场景。此外，它还将增强AR体验，例如利用摄像头和生成式AI创造新的现实互动方式。她还提到，一些应用已经开始使用设备端模型，例如在Instagram或TikTok上添加滤镜。
经济模式的转变
虽然设备端运行模型可能会降低部分云端推理成本，但Jennifer Li认为它并不会大幅降低应用的基础设施成本。然而，它会改变开发者的效率和迭代速度，并影响整个工具链的构建和组织方式。她建议开发者采用混合模式（云端和设备端同时部署），以充分利用两者的优势。
受益者及未来趋势
Jennifer Li认为，芯片制造商、设备制造商和模型开发者都将从设备端模型的兴起中受益。未来，混合现实（MR）领域将成为设备端生成式AI模型的重要应用场景，为用户带来更具创造性的现实体验。她对这一趋势感到非常乐观。
总而言之，Jennifer Li对设备端小型生成式AI模型的未来发展充满信心，认为它将带来用户体验的显著提升、经济模式的转变以及新的应用场景的出现。
联系作者
文章来源：Founder Park
作者微信：
作者简介：来自极客公园，专注与科技创业者聊「真问题」。