前言

多目标跟踪器的性能需要某些指标来进行度量，目前使用比较广泛的评测指标主要有 Bernardin 等人定义的 CLEAR MOT 指标、Ristani 等人定义的 ID scores 指标以及最新的 Luiten 等人定义的HOTA 指标。

一、基础的评测指标

1.1 ID Switches (ID Sw.)

被跟踪目标身份发生错误地更改时被称为身份跳变。在对视频序列的跟踪过程当中，ID Sw.表示所有跟踪目标身份交换的次数。

1.2 Frames Per Second (FPS)

多目标跟踪器的跟踪速度。

1.3 False Positives (FP)：

在视频序列中不能与真实轨迹的边界框相匹配的假设边界框被称为假阳性；即本来是假的，预测认为是真的。FP 表示整个视频序列中假阳性的数量。

1.4 False Negatives (FN)：

在视频序列中不能与假设边界框相匹配的真实轨迹的边界框被称为假阴性；即本来是真的，预测认为是假的。FN 表示整个视频序列中假阴性的数量。

1.5 Mostly Tracked tracklets (MT)

在跟踪过程中各个目标至少有 80%的视频帧都能被正确地跟踪的跟踪轨迹数量。

1.6 Mostly Lost tracklets (ML)

在跟踪过程中各个目标至多有 20%的视频帧能被正确地跟踪的跟踪轨迹数量。

1.7 Fragments (Frag)

真实跟踪轨迹由于某种原因发生中断并在后来又继续被准确跟踪上被称为跟踪碎片。Frag 表示整个视频序列中碎片的总数。

以上 7 种评测指标主要度量多目标跟踪器的基础性能，其中加粗的比较常用；为了进一步评判多目标跟踪器的综合性能，出现了其他指标。

二、MOTA 和 MOTP

CLEAR MOT 指标提出了多目标跟踪精度MOTA和多目标跟踪准确度MOTP 两个综合性的指标，这两个指标能够衡量多目标跟踪器在整体上的性能好坏。

2.1 MOTA：多目标跟踪准确度

MOTA除了误报(FP)、丢失目标(FN)、ID异常切换(ID Sw.)情况以外的正确预测样本占所有样本的比率，衡量了跟踪器在检测目标和保持轨迹时的性能，与目标位置的估计精度无关。多目标跟踪准确度的分数 MOTA如下计算：

mt表示整个视频序列中假阳性的数量(FN)，fpt表示整个视频序列中假阴性的数量(FP)，mme t表示跟踪过程中身份交换的数量(ID Sw.)，gt表示整个视频序列当中真实目标的数量。

这里 MOTA的分数可能为负数，因为假阴性、假阳性和身份跳变的数量可能会大于视频序列中真实目标的数量。

2.2 MOTP：多目标跟踪精度

MOTP默认检测框重合度阈值下正确预测的目标与预测目标总数之比，衡量检测器的定位精度。.多目标跟踪精确度的分数 MOTP 如下计算：

ct 表示为在第 t 帧时候总共匹配的数量，d 表示假设边界框与真实边界框之间的距离值。

三、IDP、IDR、IDF

为了判断多目标跟踪器是否能够长时间地对某个目标进行准确地跟踪，ID scores 指标引入了 IDF (Identification F1) ， IDP (Identification Precision) 和 IDR (Identification Recall)指标并添加到多目标跟踪中，以衡量跟踪器的身份维持能力。

3.1 IDP：识别精确度

整体评价跟踪器的好坏，识别精确度 IDP 的分数如下进行计算：

3.2 IDR：识别召回率

它是当IDF1-score最高时正确预测的目标数与真实目标数之比，识别召回率 IDR 的分数如下进行计算：

3.3 IDF1：平均数比率

IDF1是指正确的目标检测数与真实数和计算检测数和的平均数比率，这里， IDF1的分数如下进行计算：

上述公式中，IDTP 可以看作是在整个视频中检测目标被正确分配的数量，IDFN 在整个视频中检测目标被漏分配的数量，IDFP 在整个视频中检测目标被错误分配的数量。

四、HOTA 更高维跟踪精度

基于多目标跟踪准确度(MOTA)的基础上，HOTA 指标引入了更高维跟踪精度指标，能够更加全面、更加均衡地衡量多目标跟踪器的性能。

HOTA：更高维跟踪精度；HOTA的分数计算过程由多个部分组成，更加重视目标检测和数据关联精度的平均性衡量。主要计算如下：

A表示数据关联分数。TP 则表示在整个视频中检测目标被正确跟踪的数量。

五、MOT Challenge 多目标跟踪

官网地址：https://motchallenge.net/

这里有多目标跟踪的竞赛，可以看看有哪些评价指标，以及评价指标是如何计算的。这里有多个数据集，比如MOT2017。

MOT Challenge 是应用在多目标跟踪中最常见的数据集，它专门用于行人跟踪的场景，这些数据集目前已公开提供。对于每个数据集都提供了训练数据和测试数据，其中训练数据提供了目标检测结果和真实的跟踪结果，而测试数据只提供目标检测的结果。截至目前，MOT Challenge 数据集包含了MOT15，MOT16/MOT17，MOT20等子数据集。

六、KITTI多目标跟踪

官网地址：http://www.cvlibs.net/datasets/kitti/eval_tracking.php

这里也有多目标跟踪的竞赛，可以看看有哪些评价指标，以及评价指标是如何计算的。

七、综合评价指标

综上，融合算法的评价指标可以分为三类，第一类为基本性能，主要为时间复杂度和空间复杂度；第二类为准确性，可分别用MOTA和MOTP表示；第三类为响应速度，为目标出现后发现目标的时间和目标消失后删除目标的时间，。

从工程应用角度，还有第四类指标，对环境、天气的适应能力，比如在光线昏暗和下雨时目标跟踪的性能，以此测评融合算法综合性能。

八、场景数据集和测试方法

类似KITTI等数据集，MOTA 指标可通过采集数据并标注的方法进行统计分析，但MOTP则必须获取目标真值数据，需要特定真值设备。考虑到数据采集和标注等具体工作情况，提出如下方法：

8.1 外场数据采集和目标标注

采集典型外场数据，并对数据进行目标级标注，标注内容包括目标出现时间、目标ID、目标数量、目标消失时间等。

考虑到标注工作量，应当选择多目标场景，目标清晰可分辨且数量有限，覆盖多种场景和多种天气。

不同天气情况下的道路场景

8.2 内场数据采集和真值标注

设计典型场景，可参考iVISTA测评场景，选取合适场地和真值设备，采集内场数据，同时记录真值数据。将融合结果和真值数据对比可评价跟踪精度能力。

iVista定义的典型场景

参考资料

3D Multi-Object Tracking：A Baseline and New Evaluation Metrics

MOT16：A Benchmark for Multi-Object Tracking

HOTA：A Higher Order Metric for Evaluating Multi-object Tracking

Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics

https://blog.csdn.net/qq_41204464/article/details/122664366

多目标跟踪的评价指标 - 一只有恒心的小菜鸟 - 博客园

GitHub - cheind/py-motmetrics: Benchmark multiple object trackers (MOT) in Python

多目标跟踪评价指标 - 知乎

https://github.com/hailanyi/3D-Multi-Object-Tracker/tree/master/evaluation_HOTA

融合算法性能评价指标相关推荐

图像质量评价数据库与图像质量算法性能评价指标
视频质量专家组(Video Quality Experts Group, VQEG)发起的评价算法性能校准项目的主要思想是通过组织主观实验获取图像的主观质量,以主客观质量的一致性来判断客观评价算法的性 ...
grads 相关系数_基于小波变换的多聚焦图像融合算法
引用本文孟强强, 杨桄, 童涛, 张俭峰. 基于小波变换的多聚焦图像融合算法[J]. 国土资源遥感, 2014,26(2): 38-42 MENG Qiangqiang, YANG Guang, T ...
红外和可见光图像融合算法研究
基于MATLAB的红外和可见光图像融合系统[带评价指标] 一.课题介绍红外技术作为人类认识自然.探索自然的一种新的现代工具,已经被各国普遍的应用于生物.医学.地学等科学领域以及军事侦察方面.红外图像 ...
分类和目标检测的性能评价指标【转载】
文章目录 1. mAP (mean Avearage Precision) 2. FLOPs (浮点运算数) 3. 模型参数大小对于深度学习的网络模型,希望其速度快, 内存小, 精度高.因此需要量 ...
特征级融合_多知识图谱的融合算法探索
作者: @ZhaoYue DXY 前言在过去一年的文章中,我们讨论了很多关于知识图谱构建.结合NLP应用的方法.逐渐,这些算法开始深入到许多业务中的搜索.推荐工作中.很自然的做法是,为了契合各个业务 ...
多传感器数据融合算法综述
多传感器数据融合是一个新兴的研究领域,是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究.多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术,是多学科交叉的新技术,涉 ...
组合导航+多传感器融合算法
1.INS/GPS的组合导航系统可以输出高频率的导航参数信息(位置.速度.姿态),并且在长.短期的导航过程中均能具备较高精度.(输出数据的意义什么,PDR是步长+航向) 2.误差反馈系统 (1)在开环 ...
（2016/02/19）多传感器数据融合算法---9轴惯性传感器
2016年2月18日传感器的原理加速度计: 加速度计---我们可以把它想作一个圆球在一个方盒子中. 假定这个盒子不在重力场中或者其他任何会影响球的位置的场中,球处于盒子的正中央. 你可以想象盒子在 ...
什么是陀螺仪的dr算法_一种基于DR/GPS/MM的组合定位系统数据融合算法
摘要: 针对盲区中使用INS惯性导航系统进行定位存在误差积累的问题,提出一种基于DR航位推算.GPS全球定位系统和MM地图匹配的组合定位系统数据融合算法.该算法利用GPS和MM中得到的位置信息,一方 ...

融合算法性能评价指标

前言