Label Refinery: Improving ImageNet Classification through Label Progression

• 글 출처: https://blog.lunit.io/2018/06/25/label-refinery-improving-imagenet-classification-through-label-progression/?fbclid=IwAR2Assskn7jOQTUni6pO3Dt8YzXh-J12OIjEzr5JaIA-6yZwbxQg7QcGSfE
• paper : https://arxiv.org/pdf/1805.02641.pdf
• code : https://github.com/hessamb/label-refinery

Headline

간단한 아이디어로 큰 성능 향상을 도출했으며 실제로 다양하게 적용해 볼 수 있는 논문입니다. Main contribution은 두가지 인데, 아이디어 측면과 실험적 측면 두가지로 설명할 수 있습니다.

1. 정말 단순한 아이디어인데, 성능향상이 크고 활용도가 매우 넓습니다. 비단 classification 뿐만 아니라, segmentation 등에도 적용해 볼 수 있고(잘 될지는 아직 모르지만), 단순히 성능향상을 위함이 아니라 uncertainty prediction이 가능한 모델을 만들 수도 있을 것 같습니다.
2. 실험적 측면 : 이 논문에서 제시한 방법에 대해 다양한 모델, 다양한 loss, 다양한 방법을 적용해 각각의 성능향상의 정도를 전부 보여주었고, 자세하게 기술해놓았습니다. 실험에 정말 많은 시간을 쏟은 것 같습니다.

Introduction

그림(1)의 (a)는 cat일까요? 아니면 ball일까요? 대부분의 사람들은 cat이라고 대답할 것 입니다. 물론 label도 cat이라고 되어있겠죠. 하지만 cat이라고해서, ball이 없지는 않습니다. 더욱이 평소 model을 트레이닝할때는 그림(1)의 (b)처럼 crop되어 model에 넣어질 수 있기 때문에 문제가 될 수 있습니다. 이런 문제를 보다 나은 방법으로 해결하기 위해 이 논문이 나왔습니다.

1. Incompleteness : A natural image of a particular category will contain other object categories as well.
2. Taxonomy Dependency : Categories that are far from each other in the taxonomy structure can be very similar visually.
3. Inconsistency : To prevent overfitting, various loss functions and regularization techniques have been introduced into the training process. (ex. random crop)

논문에서는 위 세가지를 지적하고 있습니다. 첫번째로, 자연의 이미지에는 그림(1)과 같이 여러가지 class가 동시에 등장할 수 있다는 것입니다. 가장 중요한 지적인 것 같습니다. 자연으로 부터 얻어지는 대부분의 이미지에는 크기가 다를 수는 있어도 여러 class가 동시에 존재할 수 있습니다. 또한 어느 한 class로 지정하기엔 덜 명확한 class도 존재할 수 있습니다. 두번째로는 class들v간의연관성이 없는 경우에도, 비슷하게 생긴 경우가 많이 존재한다는 것 입니다. 뒤에 나올 그림(10) 처럼 축구공처럼 생긴 열기구가 있다면 관련성이 떨어지는 class이지만 그림상으로는 어떤 class라고 prediction하는 것이 애매한 경우가 있습니다. 마지막으로 random crop과 같은 data augmentation들이 그림(1)과 같이 label class가 아닌 다른 class로 보이게 끔 만들 수 있습니다.

Related Work