MNasNet과 PROXYLESSNAS와 ONCE-FOR-ALL network 알아보기

1. MnasNet search space에 여러 후보 setting architecture를 올려두고 controller가 sampling을 통해 선택 trainer가 sample로 선택된 architecture를 가진 모델을 훈련해서 accuracy를 평가 그 다음에 mobile phone에 직접 넣어서 latency를 측정해봄 accuracy와 latency를 통하여 ‘multi-objective reward’라는 것을 계산하여 이를 바탕으로 다음 model을 선택 이전까지는 mobile phone에 넣어본 것이 아니고 그냥 감으로 좋을 것이다라고 생각하여 compression을 해왔지만 mobile phone에 사용할 거니까 당연히 mobile phone에 넣어서 실험을 해봐야 최적인 search..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 4. 5.
• textsms

on device AI를 활용하는 사례

1. on-device AI model의 size는 점점 커지면서 그동안 model과는 비교할 수 없을 정도의 압도적인 괴물 model GPT-3가 등장했다 2021년 등장한 switch transformer은 이 GPT-3보다 9.14배나 더 큰 모델 GPT-3는 1번 training하는 것에만 한국 돈으로 약 50억 정확도를 80% > 90% > 99%로 10%정도 올리고 싶다고 50억을 쓰는게 물론 정확도를 높이는 것은 중요하지만 정말 맞는 일인가? 2. lightweight AI의 필요성 TinyML, on-device AI, Edge AI, Embedded AI, Edge intelligence 등으로 불림 소비자가 반응하는거에 빠르게 제공해줬으면(real time customer engagem..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 2.
• textsms

딥러닝에서 말하는 경량화란?

1. 경량화란? switch transformer model은 거대하기로 유명한 GPT-3 parameter의 9.14배인 1600000000000개(1.6조) text description으로부터 image를 생성하는 DALL-E는 GPT-3 parameter의 0.068배인 12000000000개(120억) 성능을 높이려면 parameter 수를 늘려야한다고는 하지만 너무 심한 수준으로 끝을 모르고 증가하는 요즘 추세 거대기업이 아닌 일반 사람이 이런 모델을 돌리는 것은 사실상 불가능한 수준 무겁고 큰 performance가 좋은 모델에서 performance를 약간 손해보더라도 model size를 줄여 원래 모델보다 좋진 못하겠지만 어느정도 쓸 수는 있을 충분히 작은 모델을 만들고자하는 기술 경량..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 1.
• textsms