文献类型：期刊文章

作　　者：曾焕强[1,2] 胡浩麟[2] 林向伟[2] 侯军辉[3] 蔡灿辉[1]

ZENG Huanqiang;HU Haolin;LIN Xiangwei;HOU Junhui;CAI Canhui(School of Engineering,Huaqiao University,Quanzhou,Fujian 362021,China;School of Information Science and Engineering,Huaqiao University,Xiamen,Fujian 361021,China;Department of Computer Science,City University of Hong Kong,Hong Kong 999077,China)

机构地区：[1]华侨大学工学院,福建泉州362021 [2]华侨大学信息科学与工程学院,福建厦门361021 [3]香港城市大学计算机科学系,中国香港999077

出　　处：《信号处理》

基　　金：国家自然科学基金(61871434,61802136);福建省自然科学基金杰出青年项目(2019J06017);厦门市科技重大项目(3502ZCQ20191005);厦门市科技局产学研协同创新项目(3502Z20203033);福建省教改项目(FBJG20180038)。

年　　份：2022

卷　　号：38

期　　号：1

起止页码：183-194

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD2021_2022、JST、RCCSE、ZGKJHX、核心刊

摘　　要：近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要求严格的应用中。因此,在不显著影响模型精度的前提下,通过对深度神经网络进行压缩和加速来轻量化模型逐渐引起研究者们的重视。本文回顾了近年来的深度神经网络压缩和加速技术。这些技术分为四类:参数量化、模型剪枝、轻量型卷积核设计和知识蒸馏。对于每个技术类别,本文首先分析了各自的性能及存在的缺陷。另外,本文总结了模型压缩与加速的性能评估方法。最后,讨论了模型压缩与加速领域存在的挑战和未来研究的可能方向。

关 键 词：深度神经网络压缩与加速  深度学习  模型剪枝  知识蒸馏  参数量化  

分 类 号：TN911.73]