GreyReID:A Two-stream Deep Framework with RGB-grey Information for Person Re-identification
Lei Qi, Lei Wang, Jing Huo, Yinghuan Shi, Yan Gao
Nanjing University
University of Wollongong, Australia 2019
提出了用灰度图提升行人re-id的效果，并提出了一个双路结构。
Insight
图1、2是检索结果可视化，红绿框分别是正确和错误结果。图1是PCB的RGB模型的结果，可以看出，排名靠前的错误结果与目标有着类似的颜色信息。图2是PCB的RGB和灰度模型结果，可以看出，两者之间具有互补性。
图3是ResNet-50分别进行RGB训练-RGB测试、RGB训练-灰度测试和灰度训练-灰度测试的结果对比。可以看出将RGB训练的模型用于灰度图推理时，性能大幅下降（mAP下降约44%~54%），而在灰度图上训练的模型，比它高了很多（mAP高约34%）。说明除了颜色信息外，仍有额外信息才能导致这一提升，如纹理和结构，但RGB模型忽略了它们。
图4是RGB和灰度模型的特征响应图。可以看见RGB容易忽略背包区域，而灰度图则对这些区域有着强烈响应。
以上原因促成了对灰度图的探索。
论文里灰度是这样求的：
灰度模型的输入是三个通道的相等的灰度值。
Two-stream deep framework with RGB-grey information
网络backbone是预训练的ResNet50，分别使用RGB和灰度图作为输如，并使用CE loss和Triplet loss优化。此外，将两个分支GAP前的特征图concat后，进行分块GAP，并分别进行优化。
推理时，会将4个特征concat起来，得到1280维的特征。
Discussion
Why does the proposed framework not use the adaptive weight fusion scheme?:
作者尝试了多种特征融合方式，包括逐点加、逐点乘、concat、自适应加权等，最终还是concat效果最好。他们认为主要原因是每个分支的loss能获得足够健壮的特征，而且总的loss函数能自动调整灰度、RGB和联合特征的重要性。从某种程度上，等于有了一个自动调整权重的机制。
Why does the proposed framework not use the part-based scheme in other branches?:
实验显示了在其它分支上使用分块机制没有显著提升。
Experiments
论文里记载的训练比较常规，就不详述了。图6的得到的结果对比，相对基线提升明显。
以上是与其它方法的一些比较。没有与目前最SOTA的一些方法进行相比，不过考虑到仅仅使用了两路和简单的分块特征，得到这个性能还是不错的。
表4是消融测试结果。one-part和two-part的区别在于是否使用分块特征。