• paper / code

Q> How robust are these matching ticket initializations?

A> Table A1: Summary of the networks we study in this paper. We present ResNet-20 in the main body of the paper and the remaining networks in Appendix B.

Overview

IMP(iterative magnitude pruning)와 rewinding를 이용하는 Lottery tickets matching initialization(즉, random weight으로 reinitialization 하는 것)의 robustness를 실험

• Resnet-20, CIFAR-10을 이용

1. A**:** an IMP-derived sub-network of ResNet-20 on CIFAR-10 initialized to the signs at iteration 0 or k and the magnitudes at iteration 0 or k. (Fig4, k = 500, 2000)

• high levels of sparsity에서 흔들림
• low levels of sparsity에서 sign-flip에 강건

2. B: Permute the weights at iteration k with structural sub-components of the net.

• 가중치를 전역적으로(layer 간)와 지역적으로(layer 내) 주어진 필터 내에서 교환
• 강건성 유지 못함

3. C: 부호가 동일한 가중치만 교환

• 강건함

4. D: 일치하는 티켓 가중치에 가우시안 노이즈 추가

• 표준편차 크기가 영향 큼

5. E: 다른 self-supervised loss를 가지는 dense/sparse network 의 사전훈련

• 이전 결과 유지 (이전 가중치 분포 성질과 부호 이외에 다른 성질이 작용)

6. F: 사전훈련 sparse network는 잘못된 pruning mask를 극복하기에 충분하지 않다

• Matching initialization 보다 Rewinding의 필요성이 크다는 증거를 제공
• Self-supervised pretraining은 rewinding을 피할 수 있는 잠재적인 방법임을 보임

Early phase of training for ResNet-20 on CIFAR-10