文献类型：期刊文章

作　　者：尹文枫[1] 梁玲燕[1] 彭慧民[1] 曹其春[1] 赵健[1] 董刚[1] 赵雅倩[1] 赵坤[2]

YIN Wen-Feng;LIANG Ling-Yan;PENG Hui-Min;CAO Qi-Chun;ZHAO Jian;DONG Gang;ZHAO Ya-Qian;ZHAO Kun(Inspur Electronic Information Industry Co.Ltd.,Jinan 250101,China;Guangdong Inspur Big Data Research Co.Ltd.,Guangzhou 510632,China)

机构地区：[1]浪潮电子信息产业股份有限公司,济南250101 [2]广东浪潮大数据研究有限公司,广州510632

出　　处：《计算机系统应用》

年　　份：2020

卷　　号：29

期　　号：9

起止页码：16-25

语　　种：中文

收录情况：IC、ZGKJHX、普通刊

摘　　要：神经网络压缩技术的出现缓解了深度神经网络模型在资源受限设备中的应用难题,如移动端或嵌入式设备.但神经网络压缩技术在压缩处理的自动化、稀疏度与硬件部署之间的矛盾、避免压缩后模型重训练等方面存在困难.本文在回顾经典神经网络模型和现有神经网络压缩工具的基础上,总结参数剪枝、参数量化、低秩分解和知识蒸馏四类压缩方法的代表性压缩算法的优缺点,概述压缩方法的评测指标和常用数据集,并分析各种压缩方法在不同任务和硬件资源约束中的性能表现,展望神经网络压缩技术具有前景的研究方向.

关 键 词：神经网络压缩  参数剪枝  参数量化  低秩分解  知识蒸馏  

分 类 号：TP332] TP183[计算机类]