文献类型：期刊文章

作　　者：许志钦[1,2] 周章辰[1,2]

XU Zhiqin;ZHOU Zhangchen(Institute of Natural Sciences,Shanghai Jiao Tong University,Shanghai 200240;School of Mathematical Sciences,Shanghai Jiao Tong University,Shanghai 200240)

机构地区：[1]上海交通大学自然科学研究院,上海200240 [2]上海交通大学数学科学学院,上海200240

出　　处：《中国基础科学》

基　　金：国家重点研发计划青年科学家项目(2022YFA1008200)

年　　份：2023

卷　　号：25

期　　号：6

起止页码：42-50

语　　种：中文

收录情况：JST、ZGKJHX、普通刊

摘　　要：神经网络在科学研究和工程应用等许多方面都发挥着越来越重要的作用。大量的数值经验表明神经网络与传统机器学习方法有较大的区别:在参数量远大于数据量的情况下,神经网络仍然具有非常好的泛化能力。主要研究在神经网络的训练过程中,从目标函数的频率空间和神经网络的参数空间分别观察到频率原则和参数凝聚现象两类不同的简单偏好。重点讨论这两类偏好对理解和应用神经网络的帮助,并解释其对于神经网络泛化能力的影响,从而理解神经网络相比于传统机器学习方法的优势。

关 键 词：神经网络 泛化能力 简单偏好  频率原则  参数凝聚  

分 类 号：TP391.41]