NetAdapt: Platform-Aware Neural Network Adaptation for Mobile Applications

• Paper: https://arxiv.org/pdf/1804.03230.pdf
• Official Code: https://github.com/denru01/netadapt
• (Unofficial) Simplified Code: https://github.com/madoibito80/NetAdapt

1. 목적 및 의의

이전의 network pruning 기법들은 MACs (Muliply-ACcumulate operations) 또는 weight의 갯수같은 indirect metric을 기준으로 pruning의 성능을 측정했다. 허나, 이런 indirect metric은 우리들이 실제로 개선되길 원하는 지연 / 에너지 소비와 같은 direct metric과 비선형 관계이므로 indirect metric의 향상이 그만큼의 direct metric의 향상을 보장한다고 보기는 어렵다. 이 논문에서는 device에 대한 별도의 도메인 지식 없이도 direct metric을 이용하여 device-specific한 pruning을 할 수 있는 방법을 제안한다. 본 아이디어를 구현하여 ImageNet 데이터셋으로 MobileNet의 inference 속도를 1.7배 향상시킬 수 있었다.

2. 방법

1. Pretrained network에 대한 direct metric을 측정한다.
2. 각 레이어마다 적당한 갯수의 채널을 제거한 proposal을 도출한다.
3. (direct metric이 개선되도록 선택)각 proposal을 fine-tunning한다.
4. 도출된 proposal 중에서 가장 좋은 accuracy를 가진 모델을 선택한다.
5. direct metric에 대한 contraint를 만족할 때까지 1~4을 반복한다.최종적으로 선택된 모델을 fine-tunning한다

Pseudocode