MNasNet과 PROXYLESSNAS와 ONCE-FOR-ALL network 알아보기

1. MnasNet search space에 여러 후보 setting architecture를 올려두고 controller가 sampling을 통해 선택 trainer가 sample로 선택된 architecture를 가진 모델을 훈련해서 accuracy를 평가 그 다음에 mobile phone에 직접 넣어서 latency를 측정해봄 accuracy와 latency를 통하여 ‘multi-objective reward’라는 것을 계산하여 이를 바탕으로 다음 model을 선택 이전까지는 mobile phone에 넣어본 것이 아니고 그냥 감으로 좋을 것이다라고 생각하여 compression을 해왔지만 mobile phone에 사용할 거니까 당연히 mobile phone에 넣어서 실험을 해봐야 최적인 search..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 4. 5.
• textsms

NAS(Neural Architecture Search) 기법에 대해 알아보기

1. NAS에 대한 오해 model의 일반적인 설계 방식은 model 구조인 architecture를 설계하고 그 위에 hyperparameter를 설정하고 그 위에 데이터를 넣어 train하면서 parameter를 tuning하여 model을 완성하여 사용 이제 가장 밑단의 architecture를 어떤 것을 써야할지 고민이다. 딥러닝이 상식처럼 알려져있지만 딥러닝이 아닌 architecture도 많고 SqueezeNet, ResNet, VGGNet 등등 여러가지가 많다 architecture는 사람이 직접 손으로 만드는 방법도 있지만 automatic하게 찾아내는 방법도 있다. ResNet의 residual block은 기계가 만든 것이 아니라 사람이 창의적으로 만드는 것 Neural architec..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 20.
• textsms

EfficientNet은 어떻게 만들어졌을까?

1. width scaling network의 설계 방식으로 기본 baseline 설계 여기에 성능을 높이는 방법으로 width scaling 방법이 있음 채널 축을 증가시키는 수평확장 방법을 말함 inception module을 사용한 GoogleNet이나 concat으로 이전 정보들을 받아온 DenseNet 등이 비슷함 2. depth scaling layer를 깊게 쌓아올려 성능을 높이는 방식 ResNet이 이에 해당 3. resolution scaling 애초에 input의 resolution(size)을 크게하여 성능을 높이는 방법이 있음 4. compound scaling 위에서 제시한 width scaling, depth scaling, resolution scaling 모두 성능이 증가하다..

• format_list_bulleted 딥러닝/Computer Vision
• · 2022. 3. 14.
• textsms

model compression에서 고려되는 특이한 제약조건들

1. CO2 emission model을 줄일 때 고려할 cost로 재밌는 것이 CO2 emission NAS 1번 train할 때 626155파운드(약 284톤)의 CO2 발생 그냥 생각없이 자원 많으니까 performance 올리겠다고 모델 돌리다가 엄청난 양의 CO2 발생 별거 아닌 양이면 무시하겠지만 284톤이면 무시할만한 양은 아니니 고려해야할 중요한 constraint transformer도 CO2 엄청 나온다고 했던것 같은데 아닌가??? 2. model size 모델 크기를 줄이려는 compression에서 size는 당연히 고려해야할 중요한 사항이다. compression으로 줄였다고 생각했지만 output으로 나온 model의 size가 생각보다 커버리면 문제가 있음 앱스토어에 150mb..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 5.
• textsms