CVPR2020 人脸表情识别 SCN自愈网络

CVPR2020 人脸表情识别 SCN自愈网络
Suppressing Uncertainties for Large-Scale Facial Expression Recognition
Kai Wang, Xiaojiang Peng, Jianfei Yang, Shijian Lu, Yu Qiao
Shenzhen Institutes of Advanced Technology, Nanyang Technological University, Singapore, 2019

数据集的标注总是存在谬误或难以界定的问题，而在表情识别里这个问题尤为突出，如图1。这篇论文提出了为样本加权以及自学习re-labeling解决这一问题。据作者声称，他们的实验发现这一结构在其它领域里都有用。代码即将开源。

---

Self-Cure Network

Overview of Self-Cure Network

SCNS是由传统网络构建，由以下关键模块构成，如下图2：

1. self-attention importance weighting
2. ranking regularization
3. relabeling

Self-Attention Importance Weighting

自注意力重要性加权模块SAIWM用于捕捉训练样本的贡献度。我们期望比较确定的样本获得更高的权重，不太确定的反之。

假定$\mathbf{F}=\left[\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{N}\right] \in R^{D \times N}$是N张图片的人脸特征。SAIWM是由一个FC和sigmoid组成，可记做：

$$\alpha_{i}=\sigma\left(\mathbf{W}_{a}^{\top} \mathbf{x}_{i}\right)$$

其中$\alpha_i$是指第i个样本的重要性权重。$\mathbf{W}_a$是FC层的权重。这一模块的输出也提供给另两个模块使用。

Logit-Weighted Cross-Entropy Loss
有了Attention权重，我们有两种方法来进行loss加权。

1. 将各样本的权重乘以其loss。在我们的情况下，由于是端到端优化的，这一方案会容易造成0 loss。
2. 使用Logit-weighted loss：

$$\mathcal{L}_{W C E}=-\frac{1}{N} \sum_{i=1}^{N} \log \frac{e^{\alpha_{i} \mathbf{W}_{y_{i}}^{\top} \mathbf{x}_{i}}}{\sum_{j=1}^{C} e^{\alpha_{i} \mathbf{W}_{j}^{\top} \mathbf{x}_{i}}}$$

其中$\mathbf{W}_j$是第j个分类器。

Rank Regularization

前一个模块给出的自注意力权重可能是$(0,1)$中的任意值。为了显式的约束不确定的样本的重要性，我们设计了RRM来对注意力权重进行正则化。

首先按注意力权重进行降序排序，再按超参数$\beta$将其划分为两组。并确保高重要性组的权重要高出低重要性一截：

$$\begin{aligned} &\mathcal{L}_{R R}=\max \left\{0, \delta_{1}-\left(\alpha_{H}-\alpha_{L}\right)\right\}\\ &\alpha_{H}=\frac{1}{M} \sum_{i=0}^{M} \alpha_{i}, \alpha_{L}=\frac{1}{N-M} \sum_{i=M}^{N} \alpha_{i} \end{aligned}$$

其中$\delta_1$可以是固定的超参数或一个可学习的参数。

总的loss函数是：

$$\mathcal{L}_{all}=\gamma \mathcal{L}_{R R}+(1-\gamma )\mathcal{L}_{W C E}$$

Relabeling

实验发现不确定的样本通常有着较低的权重，因此想到重标注这些样本。首先需要知道哪些标注是不正确的。

重标注模块仅考虑低重要度组里的样本，是否重标注的依据来着模型预测的softmax概率。如果一个样本被预测为另一类的最大概率比原标签的概率大出一个阈值时，就给她它赋予一个新的伪标签。

综合以上模块，低确定性的样本会有着更低的权重，掉入低重要性组，最终通过重标注变成确定样本，并在下一个epoch获得高的权重。因此称这个网络为Self cured network。