hope to have w4a8

#6
by jimzlf - opened

如题🙂

根据我之前基于动态敏感性探针的多轮测试比较分析,基于 SVDQuant 算法的低秩补偿或 SmoothQuant,叠加 8Bit 回滚精度混合量化,对 Krea2 模型作用有限;W4A8 这种量化方法,对像 QWen-Image 那样的稠密多维敏感性模型架构,效果比较好,会明显的比 Int4_Convrot 表现好。

Sign up or log in to comment