视侦检索技术（三）——目标跟踪

xlysoft

编者按：本期，数据恢复四川省重点实验室科研人员将介绍视频检索技术重要步骤——目标跟踪。目标跟踪能将杂乱的帧间对象串连起来，形成轨迹和线索，让工作人员能够了解目标对象的来龙去脉，并根据战法经验进行过滤、排除等，快速锁定目标，提高工作效率。


一、背景介绍

       运动目标跟踪在军事制导、视觉导航、机器人、智能交通、公共安全等领域有着广泛应用。例如，在车辆违章抓拍系统中，车辆跟踪就是必不可少的；在入侵检测中，人、动物、车辆等大型运动目标的检测与跟踪，是整个系统运行的关键所在；计算机视觉领域目标跟踪作为运动目标跟踪一个重要的分支，对视频检索有重要意义。
                                          

图1：运动目标追踪

二、目标跟踪主要步骤

        运动目标跟踪就是在一个连续视频序列中，在每一帧监控画面中找到感兴趣的运动目标，如车辆、行人、动物等。目标跟踪大致可以分为以下几个步骤：

       1.目标的有效描述

       目标跟踪过程跟目标检测一样，需要对其进行有效的描述，即需要提取目标的特征，从而能够表达该目标。一般来说，我们可以通过图像的边缘、轮廓、形状、纹理、区域、直方图、矩特征、变换系数等来进行目标特征描述。

       2.相似性度量计算

       目标跟踪相似性度量计算常用的方法有：欧式距离、马氏距离、棋盘距离、加权距离、相似系数、相关系数等。

       3.目标区域搜索匹配

       在目标跟踪过程中，如果对场景中出现的所有目标都进行特征提取、相似性计算，那么系统运行所耗费的计算量非常大。所以我们通常采用一定的方式对运动目标可能出现的区域进行估计，从而减少冗余，加快目标跟踪的速度。常见的预测算法有：Kalman滤波、粒子滤波、均值漂移等。

三、目标跟踪算法

       在视频检索领域，检索速度是一个非常重要的指标，比实时跟踪要求要高得多，这就要求跟踪算法必须计算量小，处理一帧数据的时间要尽可能短。

       图2：连续两帧中的框选对象

       如图2所示，判断连续两帧中的框选对象是否为同一个对象，这就是目标跟踪要做的事情。

       首先，对第1帧框选对象进行有效描述；接下来，对第2帧框选对象进行有效描述；最后对两帧框选对象进行相似度计算，当相似度大于某个阀值（例如：0.75）时，认为两帧中框选对象为同一对象，从而完成目标跟踪。

       在现实情况中，目标跟踪肯定比上述例子中1对1情况复杂得多，可能涉及到1对多、多对多的情况，甚至还有跟踪对象的合并、拆分、被遮挡、消失、离开场景等各种异常情况。能合理高效地解决这些复杂情况，才算一个好的目标跟踪算法。

四、如何快速进行目标跟踪

       想要提升视频检索速度，就要求采用计算量小、处理速度快的目标跟踪算法。为此，需要对目标跟踪的每个步骤进行优化。

       1.目标描述

       可以先排除那些效率低的方法，例如：边缘、轮廓、纹理、矩特征，这些方法需要很大的大量的数学计算，最多能够做到实时处理（也就是一秒处理30帧左右），明显达不到要求。
那么剩下的直方图法便是首选了，采用颜色直方图，它不涉及复杂运算，数值都是统计而来，它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置。当然，为了避免仅颜色比例相近的图像被认为相似度高，需要将图像进行分块再求直方，这样一来相似度高一定是各分块直方图都相似，则可以确定是真的相似。

       2.相似度计算

       上面介绍了直方图以及它的相似度计算，但是，显示应用中是存在对象合并、拆分等异常情况的，不是简单的比较直方图相似度就可以完成所有工作的。

    图3： 对象出现合并情况

       如图3所示，第1帧中对象1和对象2其实都应该对应到第2帧中的对象1（绿色框包含对象），但第1帧中的两个对象与第2帧中对象的直方相似度应该都在0.5左右，显示这是不符合要求的，所以还需要添加其它的相似度计算参数。

       距离参数：当两帧中对象距离越小的认为相似度越高，用欧式距离，距离与相似度成反比(1 - 对象移动距离 / 视频对角线长度)，将除式中的分子分母求对数进行结果收敛。

       长宽比参数：有时候对象间距离是相似的，所以增加条件，引入长宽比参数。

       方向参数：当距离差相似，长宽比也差不多时，再引入方向来增加相似度权重。

       3.目标区域搜索匹配

       如图3所示，第1帧中的两个对象同时与第2帧的对象1（绿色框包含对象）匹配，即帧2的对象1是帧1的两个对象合并的结果，要继续跟踪，则需要在帧2的对象1中标记出帧1的两个对象，这就需要进行区域搜索和匹配，可以应用常见的预测方法，或者根据经验自定义预测算法。

五、跟踪结果输出

       目标跟踪的结果会输出成一系列的对象外框，连接这些框的中心点便形成一条以帧为单位的轨迹。通过轨迹可以进行多种过滤操作，比如：绊线过滤、经过区域过滤、方向过滤等，灵活的过滤可以快速筛选出可疑目标，或快速排除无嫌疑的目标；通过轨迹数据可以审看某个对象出现在视频场景中的视频片段，以便对其行为进行分析，列入或排除其嫌疑。

小结：本期，数据恢复四川省重点实验室科研人员介绍了目标跟踪的定义、步骤、算法、结果输等内容。着重介绍了如何对目标跟踪的每个步骤进行优化，形成一个好的目标跟踪算法，从而提升视频检索速度。