文献类型：期刊文章

作　　者：史加荣[1,2] 王丹[1] 尚凡华[3] 张鹤于[4]

SHI Jia-Rong;WANG Dan;SHANG Fan-Hua;ZHANG He-Yu(School of Science,Xi'an University of Architecture and Te-chnology,Xi'an 710055;State Key Laboratory of Green Bui-lding in Western China,Xi'an University of Architecture and Te-chnology,Xi'an 710055;Key Laboratory of Intelligent Perce-ption and Image Understanding of Ministry of Education of China,School of Artiflcial Intelligence,Xidian University,Xi'an 710071;School of Computer Science and Technology,Xidian University,Xi'an 710071)

机构地区：[1]西安建筑科技大学理学院,西安710055 [2]省部共建西部绿色建筑国家重点实验室,西安710055 [3]西安电子科技大学人工智能学院智能感知与图像理解教育部重点实验室,西安710071 [4]西安电子科技大学计算机科学与技术学院,西安710071

出　　处：《自动化学报》

基　　金：国家自然科学基金(61876220,61876221);中国博士后科学基金(2017M613087)资助。

年　　份：2021

卷　　号：47

期　　号：9

起止页码：2103-2119

语　　种：中文

收录情况：BDHX、BDHX2020、CAS、CSCD、CSCD2021_2022、EAPJ、EI、IC、JST、MR、PUBMED、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向.

关 键 词：随机梯度下降算法  机器学习  深度学习  梯度下降算法 大规模学习  逻辑回归 卷积神经网络

分 类 号：TP18]