文献类型：期刊文章

作　　者：吴雯珑[1] 龚谊承[1,2]

机构地区：[1]武汉科技大学理学院数学与统计系,湖北 武汉 [2]武汉科技大学,冶金工业过程系统科学湖北省重点实验室,湖北 武汉

出　　处：《应用数学进展》

年　　份：2022

卷　　号：11

期　　号：12

起止页码：8723-8733

语　　种：中文

收录情况：RCCSE、普通刊

摘　　要：针对强化学习中Sarsa算法收敛速度慢且效果不稳定的问题,考虑到PID控制操作简单且鲁棒性高,提出基于PID控制优化的Sarsa算法,即Pid_Sarsa。其主要思想是将Sarsa算法中Q值的迭代方式改进为三项之和,分别对应PID控制中的比例、积分和微分,体现了对当前、过去和未来的误差进行控制的思想,理论上提高了样本利用率。为了对比Pid_Sarsa算法与Sarsa和n_Sarsa(取n = 5)两种传统算法的效果,选择悬崖寻路这一经典路径规划游戏作为算例,实验表明:Pid_Sarsa算法收敛速度更快、效果更稳定,且得到的路径安全程度比Sarsa算法高2.38%,比5步Sarsa算法高4.76%。

关 键 词：强化学习  Sarsa  PID控制 路径规划

分 类 号：TP18]