LOOKAHEAD: A FAR-SIGHTED ALTERNATIVE OF MAGNITUDE-BASED PRUNING

• paper: https://openreview.net/pdf?id=ryl3ygHYDB
• code: https://github.com/alinlab/lookahead_pruning

개요

• 가장 단순하지만 탁월한 성능을 가진 방법 중 하나는 Magnitude based pruning (MP)이다.

실험 결과

• Single layer에 대한 linear operator로 Frobenius distortion을 고려하여 시작된 개념이지만, activation을 포함한 nonlinear network에서 도 효과적인 성능을 보임을 실험 결과로 보여준다.

참고, Awesome Pruning https://github.com/he-y/Awesome-Pruning 의 구분에 의하면 Weight pruning type 이다.

• Comparison with smaller networks