基于深度学习的语义SLAM关键帧图像处理

时间:2022-07-02 17:24:48
作者:邓晨,李宏伟,张斌,许智宾,肖志远
关键字:同时定位与建图,ORB-SLAM3,三维语义地图,深度学习,Mask R-CNN
DOI:10.11947/j.AGCS.2021.20210251
查看次数:571

如需要完整文档点击下方 "点击下载文档" 按钮

摘要: 同时定位和地图构建(SLAM)凭借其高能效和低功耗等特点在诸多领域应用前景广阔。然而,在传统的SLAM系统中仍存在一些问题:传统的视觉里程计中关键帧并不包含语义信息,移动机器人获取的图像信息较为单一,且在实际场景中关键帧总包含大量误匹配点和动态点。针对以上问题,本文提出一种语义SLAM思路。首先,为了能够匹配到正确且对应的特征点,摒弃动态点和误匹配点的干扰,提出了一种基于Lucas-Kanade光流法的相邻帧特征状态判别法,将这项功能作为新的线程加入ORB-SLAM3的视觉里程计部分,完成对部分传统SLAM框架的优化和改进工作。其次,针对传统SLAM系统前端视觉里程计获取的图像帧不包含任何语义信息的问题,使用基于YOLOV4的目标检测算法和融合全连接条件随机场CRF的Mask R-CNN语义分割算法对ORB-SLAM3中的关键帧图像进行处理,有效提高了机器人等智能设备对室内环境的感知能力。

如需要完整文档点击下方 "点击下载文档" 按钮

基于深度学习的语义SLAM关键帧图像处理
《基于深度学习的语义SLAM关键帧图像处理》
完整文档 下载到本地,方便收藏和查阅
文件号:060422
基于深度学习的语义SLAM关键帧图像处理
点击下载文档
基于深度学习的语义SLAM关键帧图像处理

点击下载 文件号:060422(点击复制) 公众号(点击复制)

x