留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

联合目标检测与深度信息的动态特征点去除方法

叶睿馨 张令文 陈佳 乔尚兵 朱颖

叶睿馨, 张令文, 陈佳, 乔尚兵, 朱颖. 联合目标检测与深度信息的动态特征点去除方法[J]. 全球定位系统, 2024, 49(3): 94-100. doi: 10.12265/j.gnss.2024015
引用本文: 叶睿馨, 张令文, 陈佳, 乔尚兵, 朱颖. 联合目标检测与深度信息的动态特征点去除方法[J]. 全球定位系统, 2024, 49(3): 94-100. doi: 10.12265/j.gnss.2024015
YE Ruixin, ZHANG Lingwen, CHEN Jia, QIAO Shangbing, ZHU Ying. Dynamic feature point removal method with joint target detection and depth information[J]. GNSS World of China, 2024, 49(3): 94-100. doi: 10.12265/j.gnss.2024015
Citation: YE Ruixin, ZHANG Lingwen, CHEN Jia, QIAO Shangbing, ZHU Ying. Dynamic feature point removal method with joint target detection and depth information[J]. GNSS World of China, 2024, 49(3): 94-100. doi: 10.12265/j.gnss.2024015

联合目标检测与深度信息的动态特征点去除方法

doi: 10.12265/j.gnss.2024015
基金项目: 国家重点研发计划项目(2022YFB2902400);鹏城实验室重大攻关项目(PCL2023A06)
详细信息
    作者简介:

    叶睿馨:(1998—),女,硕士,研究方向为视觉定位、多传感器融合定位. E-mail: 18810595205@163com

    张令文:(1983—),女,博士,副教授,硕士生导师,研究方向为多传感器数据融合(定位),包括GPS/IMU 传感器融合定位、IMU/Visual 视觉融合定位、 基于机器学习的多特征指纹定位、通信网络定位. E-mail: zhanglw@bjtu.edu.cn

    陈佳:(1983—),女,博士,教授,博士生导师,研究方向为算力网络、算网融合、在网计算、全息通信、通感算一体化. E-mail: chenjia@bjtu.edu.cn

    乔尚兵:(1994—),男,硕士,研究方向为无线信道采集与信道建模、OTA性能测试、通感一体化. E-mail: qiaoshangbing@caict.ac.cn

    朱颖:(1987—),女,硕士,高级工程师,研究方向为空天地一体化、NTN、OTA射频测试. E-mail: zhuying@caict.ac.cn

    通讯作者:

    陈 佳E-mail: chenjia@bjtu.edu.cn

  • 中图分类号: P228.4

Dynamic feature point removal method with joint target detection and depth information

  • 摘要: 针对在动态环境中,视觉定位系统的定位精度和鲁棒性容易受到动态特征点影响的问题,提出了一种联合目标检测与深度信息的动态特征点去除方法. 引入YOLOv7目标检测网络快速获得当前图像帧的目标类别及位置信息,加入坐标注意力(coordinate attention,CA)机制优化深度学习模型,提升网络目标检测精度. 此外,提出了一种利用深度信息和对极几何约束的动态特征点优化策略. 有效剔除了动态特征点,同时保留了尽量多的静态点,从而降低了动态点对系统定位精度和鲁棒性的影响. 在公开的数据集TUM上进行实验验证. 结果表明:与ORB-SLAM2 (oriented fast and rotated brief-SLAM)相比,所提方案在定位精度和鲁棒性上有明显优势. 同时与动态同步定位和地图构建(dyna simultaneous localization and mapping,DynaSLAM)相比,定位精度基本持平,但在运行速度上实现了显著提升.

     

  • 图  1  系统整体流程图

    图  2  引入CA机制的YOLOv7目标检测流程

    图  3  改进的目标检测结果

    图  4  特征点剔除前后结果对比

    图  5  ORB-SLAM2在fr3/walking_xyz序列上的轨迹

    图  6  本方案在fr3/walking_xyz序列上的轨迹

    表  1  改进前后网络的性能表现

    模型准确率召回率均值平均精度
    原YOLOv7模型0.9550.9260.958
    加入CA注意力机制的YOLOv7模型0.9810.9450.982
    下载: 导出CSV

    表  2  不同研究方案的ATE表现RMSE

    序列 ORB-SLAM2/m DynaSLAM/m 仅YOLOv7/m 加入CA/m CA+动态点筛选/m 提升/%
    fr3/walking_xyz 0.703 0.015 0.025 0.024 0.019 97.3
    fr3/waling_rpy 0.590 0.035 0.048 0.046 0.036 94.0
    fr3/walking_halfshpere 0.423 0.025 0.038 0.039 0.033 92.2
    下载: 导出CSV

    表  3  不同研究方案的RPE表现RMSE

    序列 ORB-SLAM2/m DynaSLAM/m 仅YOLOv7/m 加入CA/m CA+动态点筛选/m 提升/%
    fr3/walking_xyz 0.457 - 0.023 0.022 0.021 95.4
    fr3/waling_rpy 0.419 - 0.047 0.045 0.035 91.7
    fr3/walking_halfshpere 0.412 - 0.039 0.041 0.032 92.2
    下载: 导出CSV

    表  4  不同研究方案在fr3数据集上的用时表现s/帧

    序列 时间 ORB-
    SLAM2
    Dyna-
    SLAM
    本文方案
    fr3/walking_xyz 中位数 0.0646 - 0.2981
    平均数 0.0729 0.5 0.3020
    fr3/walking_rpy 中位数 0.0698 - 0.3059
    平均数 0.0713 0.5 0.3098
    fr3/walking_halfsphere 中位数 0.0705 - 0.3108
    平均数 0.0717 0.5 0.3162
    下载: 导出CSV
  • [1] MUR-ARTAL R, MONTIEL J M, TARDÓS J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE transactions on robotics, 2015, 31(5): 1147-1163. DOI: 10.1109/TRO.2015.2463671
    [2] MUR-ARTAL R, TARDÓS J D. ORB-SLAM2: an open-source SLAM system for monocular, stereo, and RGB-D cameras[J]. IEEE transactions on robotics, 2017, 33(5): 1255-1262. DOI: 10.1109/TRO.2017.2705103
    [3] CHEN W, SHANG G, JI A, et al. An overview on visual slam: from tradition to semantic[J]. Remote sensing, 2022, 14(13): 3010. DOI: 10.3390/rs14133010
    [4] BESCOS B, FACIL J M, CIVERA J, et al. DynaSLAM: tracking, mapping, and inpainting in dynamic scenes[J]. IEEE robotics and automation letters, 2018, 3(4): 4076-4083. DOI: 10.1109/LRA.2018.2860039
    [5] YU C, LIU Z, LIU X J, et al. DS-SLAM: a semantic visual slam towards dynamic environments[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2018: 1168-1174. DOI: 10.1109/IROS.2018.8593691
    [6] RAN T, YUAN L, ZHANG J, et al. RS-SLAM: a robust semantic slam in dynamic environments based on RGB-D sensor[J]. IEEE sensors journal, 2021, 21(18): 20657-20664. DOI: 10.1109/JSEN.2021.3099511
    [7] 张梦珠, 黄劲松. 基于语义特征的视觉定位研究[J]. 测绘地理信息, 2022, 47(4): 33-37.
    [8] 刘胤真, 徐向荣, 张卉, 等. 动态场景下基于语义和几何约束的视觉SLAM算法[J/OL]. (2023-11-02)[2024-01-15]. 信息与控制. https://doi.org/10.13976/j.cnki.xk.2024.3089
    [9] 高逸, 王庆, 杨高朝, 等. 基于几何约束和目标检测的室内动态SLAM[J]. 全球定位系统, 2022, 47(5): 51-56.
    [10] 潘海鹏, 刘培敏, 马淼. 基于语义信息与动态特征点剔除的SLAM算法[J]. 浙江理工大学学报(自然科学版), 2022, 47(5): 764-773.
    [11] 付豪, 徐和根, 张志明, 等. 动态场景下基于语义和光流约束的视觉同步定位与地图构建[J]. 计算机应用, 2021, 41(11): 3337-3344.
    [12] HOU Q, ZHOU D, FENG J. Coordinate attention for efficient mobile network design[C]//The IEEE/CVF conference on computer vision and pattern recognition, 2021: 13713-13722. DOI: 10.1109/CVPR46437.2021.01350
    [13] STURM J, ENGELHARD N, ENDRES F, et al. A benchmark for the evaluation of RGB-D SLAM systems[C]//The International Conference on Intelligent Robot Systems (IROS), 2012. DOI: 10.1109/IROS.2012.6385773
  • 加载中
图(6) / 表(4)
计量
  • 文章访问数:  74
  • HTML全文浏览量:  29
  • PDF下载量:  7
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-01-22
  • 录用日期:  2024-01-22
  • 网络出版日期:  2024-04-25

目录

    /

    返回文章
    返回