文献类型：期刊文章

作　　者：祁彬斌[1] 朱学芳[1]

Qi Binbin;Zhu Xuefang(Institute of Multimedia Information Processing School of Information Management,Nanjing University,Nanjing 210023,China)

机构地区：[1]南京大学信息管理学院多媒体信息处理研究所,南京210023

出　　处：《中国图象图形学报》

基　　金：国家社科基金重大项目(10&ZD134;15&ZD126)~~

年　　份：2018

卷　　号：23

期　　号：8

起止页码：1218-1230

语　　种：中文

收录情况：BDHX、BDHX2017、CSCD、CSCD2017_2018、IC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：目的针对当前文物资源由传统的实体文物向虚拟展示和数字文物进行扩展的趋势,如何提供一种多模态的信息呈现方式就显得尤为重要。通过将力触觉技术引入3维文物展示领域,提出一种基于多模感知的3维文物交互式呈现的算法框架。在对文物的基本特征进行视、听、触觉多通道分析的基础上,依据用户与文物模型的接触状态对多通道信息进行计算和整合。方法在力触觉计算渲染方面,基于嵌入深度构建弹簧系统模拟轮廓形状的接触过程,引入动摩擦和静摩擦因数来反映表面摩擦力这一材质特征,通过法线贴图来实现文物表面纹理的触觉处理;针对交互的环境由2维平面拓展至立体空间,结合力触觉设备将操作时的行为和状态映射为虚拟环境中的操作代理,借助操作代理构建"旋转"和"选择-移动-释放"两种基本的操作范式来实现用户意图;最后,物理引擎的引入将物体的基本运动规律集成至虚拟场景,提升场景交互的真实感.结果使用Phantom Omni手控器搭建面向馆藏文物的多模感知实验系统,抽取志愿者对实验系统进行测评。实验结果表明:运用本文方法,用户可从视觉、听觉、触觉多个通道对数字文物的整体和细节信息进行感知,且交互的整体过程简单、自然、有效。结论本文提出的基于多模感知的数字文物交互式呈现方法,可有效实现对各类数字遗产特别是3维文物的多模重现,在保证较高实时性的同时拥有良好的可用性和情感体验效果。

关 键 词：虚拟现实  触/力觉感知  数字文物  多模态 人机交互

分 类 号：TP391]