FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

• Paper: https://arxiv.org/abs/2001.07685
• Code: https://github.com/kekmodel/FixMatch-pytorch/blob/master/train.py

Idea

• 두가지 기존 방법(1. Consistency regularization, 2. pseudo-labeling)을 조합한 방법 제안.
  1. Unlabeled Image에서 weak augmentation을 적용하여 pseudo-labeling(Thershold를 넘으면 one-hot label로 생성;entropy minimization)을 구하고,
  2. 해당 image에 strong augmentation을 적용하여, CrossEntropyLoss를 계산함.
• 즉, 쉬운(작은 변화) 데이터로 레이블을 만들고, 훈련은 어려운(큰 변화) 데이터로 수행. 저자들은 이 방법이 consistency regularization 효과를 준다고 주장(후술).
• 기존의 방법들과는 다르게 unlabeled(semi-supervised) 쪽의 weight를 training 과정에 따라 다르게 적용할 필요가 없음.(threshold 때문)

최종 loss는 supervised(기존) + weight * semi-supervised loss(제안).

Augmentation in FixMatch

• Weak augmentation은 standard flip-and-shift(50%로 horizontal random flip, translate image by up to 12.5% vertically and horizontally). - Strong augmentation으로는 AutoAugmentation을 기반으로 한 RandAugment, CTAugment를 사용(두 방법 모두 학습을 필요로 하지 않음). + cutout을 추가. - RandAugment의 경우 global magnitude를 매 training step마다 random sample하여 가변적으로 적용.

Additional important factors

• SSL 알고리즘의 성능이 hyperparams에 매우 민감함에도 이를 잘 언급하지 않음. - 이 논문에서는 몇가지 추가적인 factor들을 설명함.

1. Regularization이 매우 중요함.
2. Adam은 잘 동작하지 않음(SGD + momentum)
3. Learning rate decay는 cosine을 추천(세팅은 이미지 참조)