Vehicle Re-Identification with the Space-Time Prior
Chih-Wei Wu, Chih-Ting Liu, Cheng-En Chiang, Wei-Chih Tu, Shao-Yi Chien
NTU IoX Center, National Taiwan University, 2018
文中的AFL应该可以有效用于re-ID任务的再训练,帮助模型适应到要应用的场景。
1. Introduction
这篇论文提出了一个自动挖掘re-id样本的技术Adaptive Feature Learning(AFL),其原理在于一个汽车不能在同一时间出现在多个地点,而一个汽车会随时间连续移动,如图1,这就是论文题目的Space-time prior。AFL的有效性在行人和车辆re-id任务中都得到了证明。
2. Adaptive Feature Learning
AFL即是将同一帧里的任意两个车都可以作为负样本,不同时间戳下的同一个车可以作为正样本。用挖掘出的样本去finetune在其它数据集预训练的CNN特征提取器,从而将提取器适应到目标领域中。
3. Proposed Vehicle Re-ID System
论文提出的车辆re-id系统如图2,共分为3个阶段:
- 车辆检测
- 对检测结果进行单摄像头tracking(SCT),并用特征提取器提取tracklet的特征。提取器是预训练过,并通过AFL fine tune的。
- 利用特征进行MCT。
3.1 Vehicle Proposal
使用了Detectron进行车辆检测,backbone为ResNet-101,并对过大过小的检测框进行过滤。
3.2 Single-Camera Tracking
论文出于运行时间考虑,没有使用CNN对检测结果进行追踪,而是用了一个简单的IoU tracker。第一帧每个检出车辆都作为一个独立的tracklet。对后续所有帧,每个tracklet与上一帧的tracklet计算IoU,如果大于阈值则并入该tracklet,否则当做新的tracklet。处理完后抛弃长度过小的tracklet。
利用CNN特征提取器,对所有可能合并(时空上连续)的track对,如果外观特征距离小于阈值,则将其相连。
3.3. Vehicle Feature Extractor
提取器为ResNet-50。在3个车辆数据集上训练。其中只有一个有id标签,具体见表1。
loss为triplet loss和交叉熵loss。triplet loss采用了batch-hard soft-margin triplet loss,它最小化一个训练batch中的最大的loss,并将loss中的hinge函数替换为softplus。
对于VeRi数据集,除了triplet loss外,还使用交叉熵训练对ID和颜色标签分类。对于另外两个数据集,训练分类loss。
最终在AIC数据集上,利用AFL的数据调优特征提取器。
3.4. Multi-Camera Matching
实验了多种方法进行MCT的效果,包括K-Means,KNN和image retrieval query matching。不赘述了,需要时再细看,再总结吧。