模型剪枝与量化用受控精度损失换取部署效率

模型压缩的目标不是单纯减小文件，而是在明确硬件和质量约束下减少存储、内存带宽、运算量或延迟。剪枝删除权重、通道或结构，量化降低权重与激活的数值精度，两者都可能改变模型函数。压缩比只有和实际延迟、能耗、峰值内存及任务质量一起报告才有意义。

压缩应从部署瓶颈开始设计。算力受限设备、内存受限设备和高吞吐服务器的最优方案不同；稀疏权重若缺少硬件与运行库支持，参数数目减少也未必加速。

剪枝先定义被删除的粒度

非结构化剪枝按单个权重的重要性置零，可获得较高稀疏率，却产生不规则稀疏矩阵。结构化剪枝删除整个通道、卷积核、注意力头或层，压缩率可能较低，但更容易映射到常规密集计算。选择粒度时要以目标运行时真正支持的算子为准。

幅值剪枝把绝对值较小的权重视为影响较低，是常见基线；梯度、曲率或敏感度方法尝试估计删除后的损失变化。重要性是相对于数据和目标定义的，某个权重对总体指标影响小，仍可能对少数类别或罕见场景重要。

一次性大量删除通常比逐步剪枝更难恢复。渐进式流程在训练中逐渐提高稀疏率，并在每一阶段微调。Han 等人的 Deep Compression 将剪枝、训练后量化和编码组成分阶段流程：https://arxiv.org/abs/1510.00149 。论文中的压缩比依赖当时架构、数据和硬件，不能直接当成现代模型的通用承诺。

量化改变数值表示和误差来源

量化把浮点数映射到有限整数或低精度浮点集合。映射通常包含尺度和零点，可按张量、通道或更细分组计算。权重量化影响参数读取和矩阵乘法，激活量化还受输入分布、异常值和动态范围影响。

训练后量化使用校准数据估计范围，改造成本低；量化感知训练在前向过程中模拟舍入和截断，使模型学习适应误差。校准集必须覆盖部署输入，尤其是长尾值和不同业务分组。只用少量干净样本校准，线上遇到异常范围时可能饱和。

对称量化简化计算，非对称量化可以更好利用偏移分布的整数范围；逐通道权重量化常比逐张量方式保留更多精度。低比特表示越激进，对算子、归一化、残差相加和累加精度越敏感。需要检查运行库是否真的执行低精度内核，而不是在算子边界反复反量化。

联合压缩要通过微调恢复质量

剪枝和量化可组合，但误差不会简单相加。剪枝改变权重分布后，原有量化尺度可能失效；量化噪声又可能让接近阈值的权重重要性排序不稳定。稳妥流程是固定一个阶段、重新校准并评价，再进入下一阶段，而不是同时启用所有压缩开关。

蒸馏可以用较大教师模型的软目标帮助小模型或压缩模型恢复行为，但教师错误也会被传递。微调数据要保持训练数据治理要求，并覆盖关键分组。若原模型只在总体精度上优化，压缩后少数类性能下降可能被平均值掩盖。

《Deep Learning》提供了正则化、数值优化和网络训练的基础背景：https://www.deeplearningbook.org/ 。压缩不是训练结束后的机械转换，而是模型、数据、编译器、内核与设备共同参与的优化问题。

验证必须在真实部署栈上完成

离线验证至少比较原模型和压缩模型的任务指标、分组指标、概率校准、鲁棒性与输出差异。数值一致性不要求逐位相同，但应定义可接受阈值，并审查最大偏差样本。生成式或排序模型还需检查序列质量、检索排序和失败模式，而不能只比较平均损失。

系统验证要在目标设备上测量冷启动、预热后延迟、尾延迟、吞吐、峰值内存、模型包大小和能耗。批大小、线程数、算子融合和输入形状应与生产一致。理论乘加次数减少而端到端延迟不变，往往说明瓶颈在内存、数据处理或不受支持的稀疏算子。

发布记录应包含原模型标识、剪枝掩码或结构变化、量化方案、校准集版本、编译器与运行库版本。采用分阶段灰度并保留原模型回滚路径。模型压缩成功的标准，是目标设备上的资源收益达到预期，同时关键业务质量和安全边界仍在验证范围内。

压缩后的模型接口也要做兼容检查。输入张量类型、动态形状、预处理常量和输出顺序可能在转换器中改变；不受支持的算子可能退回 CPU 或浮点执行，使延迟产生尖峰。应使用一组固定回归样本贯穿原框架、交换格式、编译产物和线上运行时，对每一阶段的输出差异进行定位。

安全敏感模型还要复测对扰动和罕见输入的行为。量化舍入可能改变接近决策阈值的结果，剪枝可能削弱只由少量特征支持的类别。灰度监控应按设备型号、运行库版本和业务分组拆分，避免总体均值掩盖某一硬件后端的系统性偏差。

资料依据

• Song Han、Huizi Mao、William J. Dally：Deep Compression，https://arxiv.org/abs/1510.00149
• Ian Goodfellow、Yoshua Bengio、Aaron Courville：Deep Learning，https://www.deeplearningbook.org/