1. MOTA (Multiple Object Tracking Accuracy)

M O T A = 1 − ∑ t ( F N t + F P t + I D S W t ) ∑ t G T t MOTA = 1- \frac{\sum_t(FN_t + FP_t + IDSW_t)}{\sum_t GT_t} MOTA=1−∑tGTt∑t(FNt+FPt+IDSWt)

MOTA给出了直观的衡量跟踪器在检测物体(TN, FP)和保持轨迹(IDSW)的性能。MOTA的取值小于1.00，可能会为负数。注意通过分子分母的求和可以看出，MOTA是对所有帧的指标求和后取平均，而不是每一帧算一个MOTA然后再取平均。

2. MOTP (Multiple Object Tracking Precision)

M O T P = ∑ t , i d t , i ∑ t c t MOTP=\frac{\sum_{t,i}d_{t,i}}{\sum_tc_t} MOTP=∑tct∑t,idt,i
其中，d为检测目标和对应gt之间的距离，c为当前帧的匹配成功数目。d主要用bbox的overlap rate来衡量，所以越大越好，如果使用欧氏距离，则越小越好。MOTP主要体现的是检测性能，而不是跟踪性能。

3. MT (Mostly Tracked)

大部分被跟踪到的，指的是Ground Truth在超过80%的时间内都匹配到轨迹的数目在全部数目的占比。这里只关心是否匹配到了轨迹上，不关心ID是否发生Switch

4. ML (Mostly Lost)

指的是Ground Truth在小于20%的时间内匹配到轨迹的数目在全部数目的占比。这里只关心是否匹配到了轨迹上，不关心ID是否发生Switch

5. IDs (ID Switch)

数据集内同一目标的Ground Truth 分配到的ID发生变化的总次数。

6. FM (Fragmentation)

轨迹有多少次被“打断”，即“tracked -> untracked -> tracked”，注意区分IDs和FM

7. IDF1

I D F 1 = 2 I D T P 2 I D T P + I D F P + I D F N IDF1 = \frac{2IDTP}{2IDTP + IDFP + IDFN} IDF1=2IDTP+IDFP+IDFN2IDTP
表示的是在ID保持相同的情况下，跟踪的准确率和召回率的F1值。这里面的TP,FP,FN都是考虑ID的情况下得到的，所以相比于只考虑IDSW的MOTA，IDF1指标更重视跟踪能力。

比如下面这段10帧的gt和两段track（假设对应框bbox都完美对应，这里仅显示ID信息）
truth ：1-1-1-1-1-1-1-1-1-1
track1：1-1-2-2-3-3-4-4-5-5
track2：1-1-2-2-1-1-2-2-1-1
这里MOTA均为0.6， IDF1却不同0.2/0.6

不过也不能忽视MOTA的作用，因为IDF1虽然承载了丰富的ID信息，但是无法体现出IDSW的问题，比如下面这个例子：
truth ：1-1-1-1-1-1-1-1-1-1
track1：1-1-1-1-1-1-2-2-2-2
track2：1-1-2-2-1-1-2-2-1-1
这里IDF1均为0.6，但是MOTA不同0.9/0.6

参考资料

1.多目标跟踪(MOT)评测标准
2.Multi-Target Multi-Camera Tracking （MTMC Tracking）评价指标 - 罗浩.ZJU的文章 - 知乎
3. 多目标跟踪（MOT）——性能指标
4. MOT Metrics—MOTA vs IDF1？

【多目标跟踪任务——评价指标】相关推荐

多目标跟踪MOT评价指标
目录 1. MOT评价指标 2. 实现思路 3. 计算指标 1. MOT评价指标 MOT:multiple object tracking 评价出发点: 所有出现的目标都要及时能够找到: 目标位置要尽 ...
深入理解MOT评价指标
之前一直对其多目标跟踪的评价指标一知半解,今天记录一下其具体的算法细节,不当之处请大家一定要指正! MOTA ( Multiple Object Tracking Accuracy) MOTA可以算是 ...
融合算法性能评价指标
前言多目标跟踪器的性能需要某些指标来进行度量,目前使用比较广泛的评测指标主要有 Bernardin 等人定义的 CLEAR MOT 指标.Ristani 等人定义的 ID scores 指标以及最新 ...
ICPR 2022 第一届卫星视频运动目标检测与跟踪挑战赛正式开赛
关注公众号,发现CV技术之美 ICPR 2022: The 1st Challenge on Moving Object Detection and Tracking in Satellite Vid ...
最新目标跟踪评估指标汇总
前段时间接触了一些目标跟踪的场景,本文主要汇总目标跟踪的常用评估指标,主要包括下面几类: 容易理解的概念:FP.FN.TP.id switch.ML.MT 更加综合的概念:MOTA.IDF1.MOTP ...
ICPR 2022 | 第一届卫星视频运动目标检测与跟踪挑战赛正式开赛
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 ICPR 2022 第一届卫星视频运动目标检测与跟踪挑战赛正式开赛 ICPR 2022:The 1st Ch ...
多目标跟踪评价指标总结——MOTA、IDF1、HOTA等
多目标跟踪评价指标--MOTA.IDF1.HOTA等首先了解一下MOT challenge的评价指标,这些指标都是MOT任务比较常用且流行的指标: MOTA 首先需要了解的是: fragmentat ...
多目标跟踪(MOT,Multiple Object Tracking)评价指标
简述在事先不知道目标数量的情况下,对视频中的行人.轿车.卡车.自行车等多个目标进行检测并赋予ID进行轨迹跟踪.不同的目标拥有不同的ID,以便实现后续的轨迹预测.精准查找等工作. 多目标跟踪中即要面对 ...
多目标跟踪评价指标及其计算方式
基于MOT的benchmark记录相关的评价指标以及其计算方式和意义 MOTA ( Multiple Object Tracking Accuracy) MOTA计算所有帧的匹配情况,t为帧数,FN为 ...

【多目标跟踪任务——评价指标】

多目标跟踪任务——评价指标