References: Fixing the train-test resolution discrepancy (paper,code)

Introduction

Image classifier를 훈련시키는 과정에서 보통 사용되는 적합한 data augmentation은 훈련/테스트 두 상황에서 다르다. 이는 훈련 데이터와 테스트 데이터의 분포가 크게 달라지는 현상(distribution shift)을 일으킬 수 있다. 특히 저자들은 서로 다른 augmentation 방법에 의해 생기는 scaling의 차이를 분석한다.

예를 들어, 훈련 과정에는 임의의 영역을 잘라낸 후 입력 이미지 사이즈로 resize하는 Random Resized Crop이 흔히 사용되는 반면, 테스트에는Center Crop이 사용된다. 이 과정에서 일어날 수 있는 scale의 차이는 아래 그림을 보면 알 수 있다.이와 같이, 실제 분류할 객체들의 크기가 왜곡되는 현상이 발생할 수 있다.

이와 같은 효과를 상쇄시키기 위해 저자들은,

1. 훈련 데이터의 해상도를 낮추는 방법(adjust with test),
2. 테스트 데이터의 해상도를 높이는 방법(adjust with train)

을 제시한다.

Method

Calibrating the object sizes by adjusting the crop size

원본 이미지의 크기가 (H, W)라고 하자. 다음과 같은 상황을 가정한다. 훈련할 때는 RandomResizedCrop에 의해서

$(H, W) \stackrel{\text{randomCrop}}{\longrightarrow} (H_{RoC}, W_{RoC}) \stackrel{\text{resize}}{\longrightarrow} (K_{train}, K_{train})$

으로 변환된다.

테스트에는

$(H, W) \stackrel{\text{isotropicalResize}}{\longrightarrow} (H_{test}^{image}, W_{test}^{image}) \stackrel{\text{centerCrop}}{\longrightarrow} (K_{test}, K_{test})$

로 변환된다. 이 때, $min(H_{test}^{image},W_{test}^{image})$ 을 $K^{image}_{test}$라고 하자.