项目背景

随着深度学习模型体积的指数级增长，将其部署到资源受限的边缘端设备面临着算力、存储空间和功耗瓶颈的严峻挑战。单一的压缩算法（如仅剪枝或仅量化）往往容易触及性能天花板。

本项目旨在打破单一算法的局限，研究并梳理综合利用剪枝、量化与知识蒸馏优势的联合压缩范式，以期在模型轻量化与高精度之间取得更优的平衡。

技术方案

• 联合压缩策略：系统分析剪枝（Pruning）、量化（Quantization）与知识蒸馏（KD）的联合优化范式。
  • Pruning：精简模型结构，降低冗余参数量
  • Quantization：压缩模型参数与激活值的表示位宽，降低存储与带宽开销
  • KD：作为轻量化模型的辅助训练方法，引入教师模型的监督信息弥补压缩带来的精度损失

个人贡献

• 系统总结了 ‘剪枝+量化’、’剪枝+蒸馏’、’量化+蒸馏’ 三类主流联合压缩范式。

• 基于当时业界缺乏针对多算法联合优化综述的现状，主导撰写了《神经网络压缩联合优化方法的研究综述》，并成功发表于《智能系统学报》（CCF-C / 核心期刊）。

总结与思考

个人评价：从底层启蒙到架构探索

本项目是我本科期间首个独立负责的科研探索。通过本项目的研究使我奠定了神经网络和模型压缩算法的理论基础，并结合自身集成电路专业特点确定了个人感兴趣的研究方向：人工智能芯片。由于本科时个人能力有限，仅复现了剪枝、量化和知识蒸馏的经典算法，并未在项目期间完成算法的创新研究工作，只是总结并梳理出了一篇综述文献，但是通过本项目学习到的理论指导了我后续设计基于FPGA的AI加速器、面向自研处理器压缩模型等一系列工作。

压缩算法的演进：从CNN时代到大模型时代

剪枝、量化与知识蒸馏发展到大模型时代仍是模型部署推理的重要优化手段，呈现出新的软硬件协同形式：稀疏化更强调规则化、可被硬件利用的计算结构；低比特量化从边缘端模型压缩延伸到降低权重、激活与缓存的存储、带宽和通信开销；知识蒸馏则从软标签与中间特征对齐，扩展到利用强模型生成训练数据和推理轨迹。虽然具体方法与CNN时代不同，但其核心目标仍是以尽可能小的精度代价降低模型的存储、计算和部署成本。

资助 本项目由中国科学院大学生创新实践训练计划（简称“科创计划”，项目编号：20224001168）提供资金支持。