1. 模型轻量化方法
模型轻量化的关键在于在保持性能的前提下，减少模型的参数量和计算需求，以便于在移动设备和嵌入式系统中高效运行。本文总结了多种常见的模型轻量化方法：
- 剪枝(Pruning): 简化网络结构，移除冗余连接，分为后剪枝（模型训练后进行）和训练时剪枝（模型训练过程中）。通过微调调整剪枝后的性能，以达到性能与大小的最佳平衡。
- 量化(Quantization): 通过降低权重表示精度，如将32位浮点数量化为8位定点数，减少存储空间和计算需求。伪量化和定点化是两种量化策略，前者在推理时还原为高精度，后者在推理时保持低精度。
- 参数/权值共享(Parameter Sharing): CNN中的权值共享，如ALBert的参数共享，可大幅减小参数量，对模型大小压缩效果显著但对计算加速作用有限。
- 低秩分解/张量分解: 通过矩阵分解减少参数量，提升计算效率，如通过MN矩阵分解为MK+KN。
- 知识蒸馏(Knowledge Distillation): 大模型知识迁移到小模型，通过蒸馏训练减小模型大小和计算量。
- 高效网络设计: 如MobileNet的深度可分离卷积、ShuffleNet的群组概念和Adapter等，通过结构优化减小模型。
- 其他技术：如正则化、激活函数选择、特征金字塔结构等，以及1x1卷积核、全局平均池化等，都是轻量化模型的有效手段。
Yolov5通过综合运用这些方法，实现了模型在不同场景下的高效部署，提升了性能和运行效率。