文献类型：期刊文章

作　　者：李亚茹[1] 张宇来[1] 王佳晨[1]

LI Ya-ru;ZHANG Yu-lai;WANG Jia-chen(School of Information and Electronic Engineering,Zhejiang University of Science and Technology,Hangzhou 310023,China)

机构地区：[1]浙江科技学院信息与电子工程学院,杭州310023

出　　处：《计算机科学》

基　　金：国家自然科学基金青年科学基金(61803337)。

年　　份：2022

卷　　号：49

期　　号：S01

起止页码：86-92

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD_E2021_2022、DOAJ、IC、JST、RCCSE、UPD、ZGKJHX、核心刊

摘　　要：对绝大部分机器学习模型而言,超参数选择对模型的最终效果起到了至关重要的作用,所以超参数的选择与估计是机器学习理论与实践中的重要问题。从超参数空间中的点到模型泛化性能的映射可以看作一个具有高评估代价的复杂黑箱函数,一般的最优化方法难以适用。贝叶斯优化是一种非常有效的全局优化算法,适合求解具有解析式不明确、非凸、评估成本高等特点的优化问题,只需较少的目标函数评估就可以获得理想解。总结了贝叶斯优化在超参数估计问题上的基本理论和方法,综述了近年来该方向的研究热点和最新进展,包括代理模型、采集函数、算法实施等方面的研究,总结了现有的研究中尚待解决的问题,期望帮助初学者快速了解贝叶斯优化算法并理解典型的算法思想,为其之后的研究起到一定的指导作用。

关 键 词：超参数 贝叶斯优化  黑箱优化  概率代理模型  机器学习  

分 类 号：TP181] O212]