[2020]DOT: Dynamic Object Tracking for Visual SLAM
[2020]DOT: Dynamic Object Tracking for Visual SLAM
1.作者
Irene Ballester, Alejandro Fontan, Javier Civera,Klaus H. Strobl, Rudolph Triebel
2.时间
2020
3.整体架构
- 实例分割出所有潜在的运动目标（像素级分割）（网络： Detectron2 ）
- image Processing部分提取和分类在静止区域的点和在动态目标上的点，利用静止场景的特征点求解相机的位姿，每个分割的目标的运动的估计是独立的。
- 运动状态判断。
- mask传播。
4.中心思想
1.相机和目标的追踪
这里估计分两步，第一步先估计相机的位姿，第二步根据相机的位姿估计目标的运动
- 对于相机的位姿Tc∈SE3
位姿通过最小化光度误差获得，如下公式：
- 对于目标的运动
每个目标的运动可以通过这个目标上的像素点采用和相机位姿相似的方法进行估计，最小化光度误差，如下公式：
2.运动状态判断
对于每个目标，计算动态视差的中位数。
- 动态视差：一个像素点的实际投影点 和 假设这个点是静止的，通过Tc投影过去的投影点 的像素距离
得到目标运动估计的不确定性
假设服从高斯分布，他的微分熵为：
高的微分熵将产生大的像素位移，低的微分熵将产生小的像素位移
- 一个以 f(x)为密度函数的连续随机变量X的微分熵（differential entropy）定义 为：
- 正态分布的微分熵：
可变阈值：
判断是静止的：
- 微分熵低于一个阈值
- 动态视差低于可变阈值
判断是运动的：
3.Mask传播
mask的来源：
- 语义分割
- 前一帧图像的传播
好处：
- 产生先前已存在的目标的新的实例可以用来预测他们的运动
- 如果一个运动的目标在某处无法观察到时，仍然可以持续对其运动进行判断。
- 减少了每帧都需要mask的需求，毕竟深度学习在一般平台上为低帧率。
5.结果
1.实验结果
2.将mask加载ORB_SLAM2上评估位姿的精度
- 绝对轨迹误差（ATE）: 估计位姿和真实位姿的直接差值，可以非常直观地反应算法精度和轨迹全局一致性。需要注意的是，估计位姿和groundtruth通常不在同一坐标系中，因此我们需要先将两者对齐，需要估计一个变换矩阵 S∈SE(3)
- 注意：ATE/ATE（best）栏绿色为最好，红色为最差。
- 误差归一化：
V-KITTI
- 比没有mask和全部mask的分别好 92.6% 和 37.8%
KITTI Odometry
- 这个数据集的动态元素较少，纹理信息丰富，比没有mask和全部mask的分别好12.7% 和30.3%
- 相机真实的位姿是通过GPS确定的，误差在10cm左右
KITTI Raw ：
动态目标比较多，比没有mask和全部mask的分别好 142.3% 和15.9 %
结论1：
在静止或者运动的场景，性能都有提升，如果不提出运动目标，那么会造成轨迹的误差，如果将所有目标的mask区域都抛弃掉，将丢失大量的信息。
结论2：
DOT可以通过mask的传播校正神经网络的错误分割，比如将交通信号灯或者建筑等静止物体识别为动的。
2.Mask传播
[2020]DOT: Dynamic Object Tracking for Visual SLAM相关推荐
- 文献学习(part44)--Aberrance suppresse dspatio-temporal correlation filters for visual object tracking
学习笔记,仅供参考,有错必纠 关键词:视觉对象跟踪:相关滤波器:时空信息:彻底的改变 Aberrance suppresse dspatio-temporal correlation filters ...
- Distractor-aware Siamese Networks for Visual Object Tracking 论文学习
Distractor aware of Siamese Networks for visual object tracking 论文学习 论文阅读总结 Translation Abstract 1 I ...
- VOT（Visual Object Tracking）评价指标综述
2022.04.05更新 更正了第1节 第t帧上的accuracy 公式的错误 2018.09.30更新: 在VOT2015部分补充R score的定义 上一篇博文简单介绍了vot-toolkit的使 ...
- PULT：Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）
Progressive Unsupervised Learning for Visual Object Tracking(用于视觉目标跟踪的渐进式无监督学习 ) 因为是无监督学习,所以需要对样本数据充 ...
- Visual Object Tracking: MDNet + VITAL
visual object tracking的项目,运行中碰到些小问题.Windows下matlab运行的这两个项目非常接近, https://github.com/HyeonseobNam/MDNe ...
- 论文阅读：（三）DS-SLAM: A Semantic Visual SLAM towards Dynamic Environments
之前看了有关语义分割的SLAM,最近调研下动态场景下基于动态实例剔除的论文. DS-SLAM: A Semantic Visual SLAM towards Dynamic Environments- ...
- Visual Object Tracking using Adaptive Correlation Filters(MOSSE)
Visual Object Tracking using Adaptive Correlation Filters[paper][code] 目标跟踪代码MOSSE出自2010年,此算法的最大贡献是使 ...
- Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记
Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记 arXiv 摘要:本文提出了一种 DRL 算法进行单目标跟踪 ...
- Visual SLAM: What are the Current Trends and What to Expect?
引自 Tourani A, Bavle H, Sanchez-Lopez J L, et al. Visual SLAM: What are the Current Trends and What t ...
最新文章
- Shell中的${ }、#、##、%、%%使用范例
- sosdp 二进制子集的贡献
- opencv 直方图反向投影
- python爬虫：两种方法模拟登录博客园
- Matlab 常用语法速记 1
- OpenCV文档阅读笔记-inRange官方解析及实例
- linux网络编程中需要注意的信号SIGPIPE
- 专题三——枚举、模拟、排序
- 电机学重读（一）基础知识
- 破解极验验证码之模拟登录B站
- 教你快速缩小多个横屏短视频画面的两种方法
- 面试程序员被问“你的缺点是什么”，我该怎么回答？
- 红黑树Red/Black Tree
- 浙大计算机学院郭庆,团队介绍
- 2011年计算机三级,2011年计算机三级网络技术辅导：网络技术上机分析
- 如果你不能正确对待他人对你的判断，那么他人的判断就是你的地狱。
- 记录一次nginx服务器签名证书过期的排查过程
- TerminateThread导致程序未响应
- SQLite数据库rowid
- C语言 最大公约数三种方法