复杂环境下的单目视觉语义SLAM问题研究

发布时间：2024-04-09 05:11

　　传统的视觉SLAM依据点、线、面等几何特征可以进行有效的位姿估计并建立环境地图,但是这种地图并不包含环境中高层次的语义信息。为了使得机器人更好地理解周围环境、更合理地完成自主导航以及执行更高级的人机交互任务,本文构建了具有尺度感知的单目视觉语义SLAM系统。首先,从针孔相机模型、双目相机模型、特征匹配、对极几何约束、三角测量以及PnP位姿求解等几个方面介绍了视觉SLAM前端相关的理论基础。然后对卷积神经网络的网络结构、损失函数以及正则化方法进行了全面地介绍,为后续实现基于卷积神经网络的单目视觉语义SLAM系统提供理论指导。其次,为解决单目视觉SLAM的尺度不确定问题,提出了将传统的单目视觉SLAM与基于卷积神经网络的单目图像深度估计算法相结合,构建具有尺度感知的单目视觉SLAM系统,从而显著提高位姿估计精度以及在纯旋转运动中单目视觉SLAM的鲁棒性。最后,在解决了单目视觉SLAM尺度不确定问题的基础上,构建了基于卷积神经网络的单目视觉语义SLAM系统。在ROS环境下对基于卷积神经网络的图像语义分割算法进行封装实现,并对单目ORB-SLAM所建稀疏地图进行稠密化,最后将语义分割之后的图像...

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

图2.1针孔相机成像模型

国防科技大学研究生院硕士学位论文第11页第二章单目视觉SLAM和卷积神经网络理论基础基于卷积神经网络的单目视觉语义SLAM系统主要由基于特征点的视觉SLAM以及卷积神经网络组成。其中视觉SLAM主要用于获取相机的位姿并建立环境的稠密地图，卷积神经网络主要用于输入图像的深度估计以及....

图2.2双目相机几何模型

国防科技大学研究生院硕士学位论文第13页图2.2双目相机几何模型如图2.2所示，P为空间中的点，它在左眼相机和右眼相机中各投影一个像，记作LP和RP。由于两个相机所处的空间位置不同，理想情况下，两个投影点只在x轴上有偏差。令两个成像点的坐标分别为LU和RU，根据几何知识，LRPP....

图2.3对极几何约束图2.3中，1O,2O表示相机的中心，特征点1p,2p为空间点P分别在图像

国防科技大学研究生院硕士学位论文第14页具有方向信息的问题。ORB特征通过采用速度极快的二进制描述子BRIEF[25]，解决了FAST角点不具备方向性的问题，加快了特征提取的速度。2)特征匹配特征匹配是视觉SLAM的关键环节，用以解决SLAM中的数据关联问题，为后续的姿态估计奠定....

图2.4三角化获得特征点深度与对极几何约束类似，考虑图像1I和2I，以左图为参考，右图的变换矩阵为T，

国防科技大学研究生院硕士学位论文第15页然后，等式(2.12)两侧同时左乘2Tx：2221TTxtxxtRx(2.13)2tx与t和2x都垂直，再与2x做内积则为0。因此，可将上式改写为：210TxtRx(2.14)重新代入1p,2p，有：1210TTpKtRKp(2.15)式(....

本文编号：3949370