文献类型：期刊文章

作　　者：马胜蕾[1] 李敬华[1] 孔德慧[1] 王立春[1] 王少帆[1] 尹宝才[1]

MA Sheng-Lei;LI Jing-Hua;KONG De-Hui;WANG Li-Chun;WANG Shao-Fan;YIN Bao-Cai(Beijing Key Laboratory of Multimedia and Intelligent Software Technology,Faculty of Information Technology,Beijing University of Technology,Beijing 100124)

机构地区：[1]北京工业大学信息学部多媒体与智能软件技术北京市重点实验室,北京100124

出　　处：《计算机学报》

基　　金：国家自然科学基金(62172022,U21B2038,61876012);北京市自然科学基金(4202003)资助。

年　　份：2023

卷　　号：46

期　　号：7

起止页码：1383-1395

语　　种：中文

收录情况：BDHX、BDHX2020、CAS、CSCD、CSCD2023_2024、EAPJ、EI、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：手部三维姿态估计旨在基于输入的二维手势图像预测手的三维关节点位置,其在虚拟现实、自然人机交互、自动驾驶等领域有广泛的应用前景.基于单张彩色图像的手姿态估计具有现实应用的普适性但也面临更大挑战.针对手部多关节复杂难建模问题,本文提出了基于双分支的手三维姿态估计框架.所提双分支网络结构的一个分支用于描述同一手指不同关节之间的物理连接关系,另一分支用于描述不同手指相同关节之间的对称运动关系,两种结构互补建模了手关节之间的复杂关联关系.对于每一分支,提出了基于多尺度注意力GUnet和改进语义图卷积的单分支手姿态估计方法,利用手关节的多尺度上下文信息和尺度间注意力提升姿态估计的准确性.本文在公开的STB和FreiHand数据集上进行了系列实验,实验结果表明本文所提方法优于现有的基于单张RGB图像的手姿态估计方法,平均关节误差相对基线方法分别降低了0.6 mm和0.8mm.

关 键 词：手姿态估计  双分支  图卷积  多尺度 注意力机制  

分 类 号：TP391]