文献类型：期刊文章

作　　者：朱虎明[1,2,3] 李佩[1,2,3] 焦李成[1,2,3] 杨淑媛[1,2,3] 侯彪[1,2,3]

ZHU HuMing;LI Pei;JIAO LiCheng;YANG ShuYuan;HOU Biao(Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education,Xidian University,Xi＇an 710071;International Research Center of Intelligent Perception Computation,Xidian University,Xi＇an 710071;International Collaboration Joint Laboratory in Intelligent Perception and Computation,Xidian University,Xi＇an 710071)

机构地区：[1]西安电子科技大学智能感知与图像理解教育部重点实验室,西安710071 [2]西安电子科技大学智能感知与计算国际联合研究中心,西安710071 [3]西安电子科技大学智能感知与计算国际合作联合实验室,西安710071

出　　处：《计算机学报》

基　　金：国家自然科学基金(61303032);国家自然科学基金重大研究计划(91438201;91438103);国家"九七三"重点基础研究发展计划项目基金(2013CB329402);教育部"长江学者和创新团队发展计划"(IRT_15R53)资助~~

年　　份：2018

卷　　号：41

期　　号：8

起止页码：1861-1881

语　　种：中文

收录情况：BDHX、BDHX2017、CSA、CSA-PROQEUST、CSCD、CSCD2017_2018、EI、IC、JST、MR、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：神经网络是人工智能领域的核心研究内容之一.在七十年的发展历史中,神经网络经历了从浅层神经网络到深度神经网络的重要变革.深度神经网络通过增加模型深度来提高其特征提取和数据拟合的能力,在自然语言处理、自动驾驶、图像分析等问题上相较浅层模型具有显著优势.随着训练数据规模的增加和模型的日趋复杂,深度神经网络的训练成本越来越高,并行化成为增强其应用时效性的重要技术手段.近年来计算平台的硬件架构更新迭代,计算能力飞速提高,特别是多核众核以及分布式异构计算平台发展迅速,为深度神经网络的并行化提供了硬件基础;另一方面,日趋丰富的并行编程框架也为计算设备和深度神经网络的并行化架起了桥梁.该文首先介绍了深度神经网络发展背景和常用的计算模型,然后对多核处理器、众核处理器和异构计算设备分别从功耗、计算能力、并行算法的开发难度等角度进行对比分析,对并行编程框架分别从支持的编程语言和硬件设备、编程难度等角度进行阐述.然后以AlexNet为例分析了深度神经网络模型并行和数据并行两种方法的实施过程.接下来,从支持硬件、并行接口、并行模式等角度比较了常用的深度神经网络开源软件,并且通过实验比较和分析了卷积神经网络在多核CPU和GPU上的并行性能.最后,对并行深度神经网络的未来发展趋势和面临的挑战进行展望.

关 键 词：深度神经网络  并行计算 异构计算 模型并行  数据并行

分 类 号：TP18]