• Paper: https://arxiv.org/abs/1905.02244
• Code: https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet
• 참고자료:
  • NetAdapt: http://wiki.jmarple.ai/doku.php?id=research:network_optim:netadapt
  • Squeeze and excitation networks: https://jayhey.github.io/deep learning/2018/07/18/SENet/

Overview

MobilenetV2에 하드웨어에 따른 architecture search 기법(Platform-Aware NAS)과 pruning 기법(NetAdapt)을 적용하고, 실험에 따른 아키텍쳐의 최적화를 수행함으로써 MobilenetV2를 상회하는 새로운 네트워크구조 MobilenetV3를 제안한다.

Platform-Aware NAS for Block-wise Search (MNasNet)

MobileNetV2 기반의 MNasNet-A1을 initial Large mobile model로 정의한다. 다만, MNasNet에서 제안한 reward function이 small mobile model에 대해서는 좋은 성능을 내지 못하여 reward function의 weight factor를 $w=−0.07$에서 $w=−0.15$로 좀 더 줄여서 사용하였다.

$ACC(m)×[LAT(m)/TAR]^w$

NetAdapt for Layer-wise Search

MNasNet-A1 모델에 NetAdapt를 적용하여 pruning을 수행한다. ($T=10000,δ=0.01|L|$ 사용)

Redesigning Expensive Layers

MobileNetV2에서 Last stage의 디자인을 위와 같이 변경하였다. 실험적으로 accuracy의 손실없이 3개의 layer를 없앨 수 있음을 알아냈다.