IN在图像风格迁移中用得很多，它能保留样本独特的外观特征。BN在这种任务中效果就不好。而在很多BN有效的任务中，IN也表现不好。这就是这篇文章的出发点了。IBN-Net结合了两种Normal layer，在各种任务上都有提升。
Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net
Xingang Pan, Ping Luo, Jianping Shi, Xiaoou Tang
CUHK-SenseTime Joint Lab, SenseTime Group Limited, 2019
Introduction
很多CNN在许多任务中表现不错，但在语义分割任务中面临领域迁移时，如从Cityscape迁移到GTA5，性能下降厉害。
图2是分析了在不同的任务中，网络深度不同时特征散度的变化。可以看到，在同数据集训练的模型，不同类得到的特征相比，随着层度变深，特征散度变大。而在不同数据集(Imagenet和Monet)训练的两个模型，随着层变深，散度变小。根据这观察，得到两条引入IN的原则：
- 为了减少较浅层由外观引入的特征变化，同时不影响更深层的内容辨识力，仅在更浅层添加IN层。
- 为了保留浅层的图片内容信息，将浅层的一半BN更换为IN
Method
BN
BN使用mini-batch统计均值与方差，训练中归一化每个通道特征。在推理时，使用全局统计来归一化特征。BN能显著加速训练，并提升最终表现，已成为CNN的标准模块之一。
IN
IN使用每个样本统计来归一化特征。另外IN在推理时与训练一样。它主要用在图像风格迁移等领域。因为这种任务需要改变图片外观，但保留内容。
IBN
下文介绍了IBN的各种结构，并进行了广泛的实验来找到最优的参数。
