模糊虚实界限 混合现实中的实时定位与建图

2019-09-03 16:18:14大公报作者:大公报
字号
放大
标准
分享
模糊虚实界限 混合现实中的实时定位与建图
 
从2012谷歌眼镜推出的Google Glass到2016火爆全球的遊戏Pokémon GO,VR和AR技术在消费级产品上大放异彩。一种虚拟现实(VR)加增强现实(AR)的合成品混合现实(Mixed Reality)近年也孕育而生。
 
混合现实结合了真实和虚拟世界,通过不同程度的合併物理现实和虚拟世界产生新的人机交互和可视化环境从而为用户提供沉浸式的交互体验计算平台。採用先进的传感器、高清晰度3D光学头置式全角度透镜显示器以及环绕音效,支持眼球跟踪、语音和手势识别的微软(Microsoft)公司的HoloLens是目前最具有代表性的混合现实终端设备。
 
混合现实平台的核心技术包括了用於全息显示的光波导显示技术和用於实时定位与构建地图的SLAM技术。同时SLAM技术又是MR平台中最重要的核心直接影响MR平台的精度。\刘政
 
实时定位与建图技术(SLAM)
 
在20世纪80年代,人们已经开始提出SLAM的概念。SLAM技术从提出到现在的30多年历程中,随着传感器的不断扩展和理论知识的不断完善,目前已经形成了一套完善的多传感融合的理论模型。
 
SLAM技术是MR平台的灵魂,为MR平台提供了三维视觉,场景理解和定位的解决方案。SLAM技术通过构建运动模型和现代的状态估计方法来解决定位问题,通过多视图几何关係和与深度学习结合提供三维重建和语义场景信息。
 
现在现实生活中MR平台的大部分应用场景为室内环境,目前基於视觉和惯性导航单元的SLAM算法已基本能满足定位精度需求。
 
SLAM的技术特点
 
SLAM技术基本的原理是通过当前图像与构建的局部地图点进行匹配计算出摄像头位姿的刚体变换,在两个视角上进行三角测距又可以得出对应点的深度信息。就这样实时实现定位及构建地图。但是由於传感器的观察误差和位置估计会随着时间飘移的问题,这就造成了SLAM技术的不确定性的,因此SLAM算法其本质是解决不确定性,将其转换一个多传感器融合的优化的问题。
 
SLAM在MR平台上的硬件基础
 
目前在MR上部署的SLAM模组多以双目相机,深度相机和惯性导航单元(Inertial Measurement Unit,简称IMU)的搭配为主。以微软的HoloLens为例,其搭配有4个环境感知摄像头、1个深度摄像头、1个IMU。SLAM算法通过从IMU和4个环境感知摄像头得到的数据将原始数据计算出状态估计也就是定位,再加上深度摄像头得到的深度数据后进行3D模型重构。同时SLAM技术中的闭环检测模块为多终端协同提供了一个初步的解决方案。SLAM技术就是这样让HoloLens获得了环境三维立体数据和实现定位。
 
SLAM技术中在MR平台的优化方法
 
解决传感器的噪声和误差的累积带来的不确定性问题,SLAM技术的核心是一个优化问题。
 
早期的解决方案是通过构建贝叶斯概率论模型来优化。在该框架下主要有两种计算方案:利用拓展卡尔曼滤波器对机器人位置进行估计,利用粒子滤波器进行位置的估计。
 
随着今年的计算水平提升,以构建最小二乘法的图优化成为了目前MR平台上SLAM技术採用的优化方法。基於图优化的模型不像滤波法仅考虑最近的两个状态,进行局部优化,而是对之前的所有优化的状态作为顶点将误差项构建成图中的边来一起做优化,相当於一个全局优化。
责任编辑:赵逸

相关内容