CVPR 2018 车辆Re-ID: Vehicle Re-Identification with the Space-Time Prior

Vehicle Re-Identification with the Space-Time Prior
Chih-Wei Wu, Chih-Ting Liu, Cheng-En Chiang, Wei-Chih Tu, Shao-Yi Chien
NTU IoX Center, National Taiwan University, 2018

文中的AFL应该可以有效用于re-ID任务的再训练,帮助模型适应到要应用的场景。


1. Introduction

这篇论文提出了一个自动挖掘re-id样本的技术Adaptive Feature Learning(AFL),其原理在于一个汽车不能在同一时间出现在多个地点,而一个汽车会随时间连续移动,如图1,这就是论文题目的Space-time prior。AFL的有效性在行人和车辆re-id任务中都得到了证明。

2. Adaptive Feature Learning

图1

AFL即是将同一帧里的任意两个车都可以作为负样本,不同时间戳下的同一个车可以作为正样本。用挖掘出的样本去finetune在其它数据集预训练的CNN特征提取器,从而将提取器适应到目标领域中。

3. Proposed Vehicle Re-ID System

图2

论文提出的车辆re-id系统如图2,共分为3个阶段:

  1. 车辆检测
  2. 对检测结果进行单摄像头tracking(SCT),并用特征提取器提取tracklet的特征。提取器是预训练过,并通过AFL fine tune的。
  3. 利用特征进行MCT。

3.1 Vehicle Proposal

使用了Detectron进行车辆检测,backbone为ResNet-101,并对过大过小的检测框进行过滤。

3.2 Single-Camera Tracking

论文出于运行时间考虑,没有使用CNN对检测结果进行追踪,而是用了一个简单的IoU tracker。第一帧每个检出车辆都作为一个独立的tracklet。对后续所有帧,每个tracklet与上一帧的tracklet计算IoU,如果大于阈值则并入该tracklet,否则当做新的tracklet。处理完后抛弃长度过小的tracklet。

利用CNN特征提取器,对所有可能合并(时空上连续)的track对,如果外观特征距离小于阈值,则将其相连。

3.3. Vehicle Feature Extractor

提取器为ResNet-50。在3个车辆数据集上训练。其中只有一个有id标签,具体见表1。

表1

loss为triplet loss和交叉熵loss。triplet loss采用了batch-hard soft-margin triplet loss,它最小化一个训练batch中的最大的loss,并将loss中的hinge函数替换为softplus。

对于VeRi数据集,除了triplet loss外,还使用交叉熵训练对ID和颜色标签分类。对于另外两个数据集,训练分类loss。

最终在AIC数据集上,利用AFL的数据调优特征提取器。

3.4. Multi-Camera Matching

实验了多种方法进行MCT的效果,包括K-Means,KNN和image retrieval query matching。不赘述了,需要时再细看,再总结吧。