SVDQuant是一种由MIT研究团队开发的后训练量化技术，专为扩散模型设计。它能够将模型的权重和激活值量化至4位，显著降低内存需求并加快推理速度。通过引入高精度的低秩分支来处理量……