• Paper: https://arxiv.org/pdf/1912.05671.pdf
• Code: https://github.com/facebookresearch/open_lth

Algorithm of Stabilizing Lottery Ticket Hypothesis

Overview

Iterative maginitude pruning (IMP) 방식의 불안정성(instability)을 분석하는 방법을 제안하며, 이 방법을 통해 충분히 안정적인 subnetwork에 한하여 full accuracy에 도달할 수 있음을 보인다. Instability에 대한 검사방법은 다음과 같다.

1. 네트워크를 임의의 weight $W_0$로 초기화한다.
2. 네트워크를 k iteration까지 학습시켜서 $W_k$를 얻는다.
3. $W_k$에서 각각 다른 data order를 사용하여(논문에서는 이를 noise $u$로 표시) $W_T^0$와 $W_T^1$을 얻는다.
4. $W^0_T$와 $W_T^1$을 interpolation하여 얻은 weight로 test error를 측정한다. 이때 test error가 높을수록 instability가 높다고 판단할 수 있다.

다음은 위 방법을 임의의 네트워크 & 데이터셋 조합에 적용해본 결과다.