标签:清华amp;面壁开源高效压缩技术一块80GA100轻松加载50个7B模型

清华&面壁开源高效压缩技术:一块 80 G A100 轻松加载 50 个 7B 模型
作者|OpenBMB开源社区近日,清华大学与面壁智能团队提出了DeltaCompression(Delta压缩)技术,它通过存储主干模型与任务专用模型之间的参数差值,显著降低了模型对显卡的存储需求……
清华&面壁开源高效压缩技术:一块 80 G A100 轻松加载 50 个 7B 模型
作者|OpenBMB开源社区近日,清华大学与面壁智能团队提出了DeltaCompression(Delta压缩)技术,它通过存储主干模型与任务专用模型之间的参数差值,显著降低了模型对显卡的存储需求……