目录

1.1 动机

1.2 贡献

1.3 实验分析

1.4 我的想法

2.1 动机

2.2 贡献

2.3 实验分析

2.4 我的想法

3.1 动机

3.2 贡献

3.3 实验分析

3.4 我的想法

4.1 动机

4.2 贡献

4.3 实验分析

4.4 我的想法

5.1 动机

5.2 贡献

5.3 实验分析

5.4 我的思考

 噪声标签的最早工作可以追溯到20世纪80年代的任意分类噪声的二分类问题。近些年，随着深度学习研究的深入，相关研究发现深度神经网络在众多场景中取得的成果离不开大量的真实标签信息。然而，在现实复杂的生活场景中，由于人工失误、原始数据噪声和专业知识不足等问题，导致实际采集得到的数据常常包含错误的标签，或者只包含少量的真实性可靠的标签。因此，如何在包含噪声标签的数据集上，合理地选出真实性大或者说可靠的标签是当前的一大研究热点。

在包含噪声标签的数据集上，如果不作任何处理，直接采用神经网络进行有监督的训练和建模，会导致神经网络模型难以学习到原始数据的真实分布，或者说很容易让神经网络模型对错误标注的数据过拟合，导致下游的分类任务性能不理想。近年来，关于噪声标签的研究文章较多，楼主本人通过最近一个月的调研分析，个人的见解可以把当前在噪声标签领域和核心问题分为以下两点：

1）  人工制造的噪声标签建模

2）  真实场景下的噪声标签建模

当前的诸多关于噪声标签的研究成果基本都是建立在人工制造的噪声标签问题底下的理论模型，并且相关模型在人工制造的噪声标签数据集上具有很强的噪声标签样本识别能力，比如Co-teaching[1]和M-correction[2]。然而，较多在人工制造的噪声标签数据集表现良好的模型，在现实真实场景下的噪声标签数据集表现得并不太好，或者很难取得下游分类性能的提升。在人工制造的噪声标签数据集的建模基础源于神经网络的一种特性：在网络模型训练早期，模型能够较快地对包含正确标签的数据进行拟合；同时，随着训练次数的增加，模型逐渐会对错误标签的数据进行拟合，而这样的情况将会导致模型难以学习到正确的数据分布。

依据上述发现，相关研究成果采用在网络早期，依据损失函数的大小排序结果，筛选出部分损失函数小的样本（PS：损失函数越小，表示拟合的越好，即大概率是涵正确标签的样本数据），使得错误标注的样本尽量不参与网络模型的训练，从而最大程度地缓解模型对错误数据过拟合导致模型下游分类性能不足的问题。这类发现，在Co-teaching和M-correction两篇文章中有很清楚的实验分析和理论证明，具体的可见下图：

1.4 我的想法

本文主要在于验证了两种网络预测不一致的策略在Co-teaching模型上进行了验证分析，并且解决了Co-teaching模型随着训练次数上次，逐渐演变为MentorNet的问题。预测不一致的策略说明在两种网络协同教学过程中，还是发挥了较大的作用，但是本文对于其起作用的具体原理机制未做深入分析和可视化探讨，导致在本文结束时依然只能依靠实验结果去分析和理解。

2 MixUp (ICLR, 2018)

2.1 动机

大型深度神经网络在相关场景下建模功能强大，但确容易对一些敌对样本敏感和记忆的行为，导致下游任务表现不好。

深度神经网络训练的目标是最小化在训练数据上的平均错误，该学习规则也被称为经验风险最小化(ERM)原理。当训练数据中包含一些对抗性样本时，神经网络模型的下游预测结果会大幅改变，然而，ERM无法解释这样小幅改变导致学习的数据分布难以拟合实际理想的情况。

2.2 贡献

本文提出了一种简单的学习机制：MixUp，用于缓解神经网络模型在出现对抗样本或者噪声数据时难以学习到正确数据分布的问题。从本质上讲，mixup正则化了神经网络，以支持训练样本之间的简单线性行为。

本文提出的MixUp机制如下：

5.4 我的思考

    本文最大的亮点在于把人工合成噪声标签数据集上，干净样本在网络训练早期拟合速度快于噪声样本的问题分析的很清楚，但是本文的不足是其没有和Co-teaching进行比较分析，因为本文的出发点和本质就和Co-teaching很相似。

最后，附加一篇在NLP领域做噪声标签的文章：

动机：近年来，深度学习在命名实体识别(NER)方面的研究取得了显著进展。大多数现有的作品假设干净的数据注释，但现实场景中的一个基本挑战是来自各种来源(例如，伪注释、弱注释或远程注释)的大量噪声。

贡献：这项工作研究了一种具有校准置信估计的噪声标记设置。基于对噪声标签和清洁标签不同训练动态的实证观察，提出了基于局部和全局独立性假设估计置信分数的策略。

参考文献

[1] B. Han et al., “Co-teaching: robust training of deep neural networks with extremely noisy labels,” in Proceedings of the 32nd International Conference on Neural Information Processing Systems, Red Hook, NY, USA, Dec. 2018, pp. 8536–8546.

[2] E. Arazo, D. Ortego, P. Albert, N. O’Connor, and K. Mcguinness, “Unsupervised Label Noise Modeling and Loss Correction,” in International Conference on Machine Learning, May 2019, pp. 312–321. Accessed: Jul. 13, 2021. [Online]. Available: http://proceedings.mlr.press/v97/arazo19a.html

[3] A. Berthon, B. Han, G. Niu, T. Liu, and M. Sugiyama, “Confidence Scores Make Instance-dependent Label-noise Learning Possible,” in International Conference on Machine Learning, Jul. 2021, pp. 825–836. Accessed: Jul. 20, 2021. [Online]. Available: http://proceedings.mlr.press/v139/berthon21a.html

[4] L. Jiang, D. Huang, M. Liu, and W. Yang, “Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels,” in International Conference on Machine Learning, Nov. 2020, pp. 4804–4815. Accessed: Jul. 13, 2021. [Online]. Available: http://proceedings.mlr.press/v119/jiang20c.html

[5] X. Yu, B. Han, J. Yao, G. Niu, I. Tsang, and M. Sugiyama, “How does Disagreement Help Generalization against Label Corruption?,” in International Conference on Machine Learning, May 2019, pp. 7164–7173. Accessed: Jul. 13, 2021. [Online]. Available: http://proceedings.mlr.press/v97/yu19b.html

[6] H. Wei, L. Feng, X. Chen, and B. An, “Combating Noisy Labels by Agreement: A Joint Training Method with Co-Regularization,” 2020, pp. 13726–13735. Accessed: Jul. 13, 2021. [Online]. Available: https://openaccess.thecvf.com/content_CVPR_2020/html/Wei_Combating_Noisy_Labels_by_Agreement_A_Joint_Training_Method_with_CVPR_2020_paper.html

[7] Z. Zheng and Y. Yang, “Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation,” Int J Comput Vis, vol. 129, no. 4, pp. 1106–1120, Apr. 2021, doi: 10.1007/s11263-020-01395-y.

[8] Y. Ge, D. Chen, and H. Li, “Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain Adaptation on Person Re-identification,” presented at the International Conference on Learning Representations, Sep. 2019. Accessed: Jul. 13, 2021. [Online]. Available: https://openreview.net/forum?id=rJlnOhVYPS

[9] F. Yang et al., “Joint Noise-Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re-Identification,” 2021, pp. 4855–4864. Accessed: Jul. 13, 2021. [Online]. Available: https://openaccess.thecvf.com/content/CVPR2021/html/Yang_Joint_Noise-Tolerant_Learning_and_Meta_Camera_Shift_Adaptation_for_Unsupervised_CVPR_2021_paper.html