MNasNet과 PROXYLESSNAS와 ONCE-FOR-ALL network 알아보기

1. MnasNet search space에 여러 후보 setting architecture를 올려두고 controller가 sampling을 통해 선택 trainer가 sample로 선택된 architecture를 가진 모델을 훈련해서 accuracy를 평가 그 다음에 mobile phone에 직접 넣어서 latency를 측정해봄 accuracy와 latency를 통하여 ‘multi-objective reward’라는 것을 계산하여 이를 바탕으로 다음 model을 선택 이전까지는 mobile phone에 넣어본 것이 아니고 그냥 감으로 좋을 것이다라고 생각하여 compression을 해왔지만 mobile phone에 사용할 거니까 당연히 mobile phone에 넣어서 실험을 해봐야 최적인 search..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 4. 5.
• textsms

cloud와 edge device 비교하기

기존에 사용하던 aws, Azure, Google Cloud 등 cloud 환경은 사용하기 쉬우나 비용이 많이 들고 데이터가 랜선을 타고 다니면서 privacy문제와 network connection이 필요하다는 문제가 있음 의료 데이터 같은 경우는 privacy 문제가 매우 중요해서 랜선을 타고 밖으로 나가는 경우를 방지하기 위해(심지어 cloud 서비스 사용이 불법인 경우도 있음) on-premise로 직접 서버를 구축하여 사용하는데 비용도 많이 들고 무거우며 개인이 사용하기 어렵다 -------------------------------------------------------------------------------------------------------------------------- ..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 3.
• textsms

on device AI를 활용하는 사례

1. on-device AI model의 size는 점점 커지면서 그동안 model과는 비교할 수 없을 정도의 압도적인 괴물 model GPT-3가 등장했다 2021년 등장한 switch transformer은 이 GPT-3보다 9.14배나 더 큰 모델 GPT-3는 1번 training하는 것에만 한국 돈으로 약 50억 정확도를 80% > 90% > 99%로 10%정도 올리고 싶다고 50억을 쓰는게 물론 정확도를 높이는 것은 중요하지만 정말 맞는 일인가? 2. lightweight AI의 필요성 TinyML, on-device AI, Edge AI, Embedded AI, Edge intelligence 등으로 불림 소비자가 반응하는거에 빠르게 제공해줬으면(real time customer engagem..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 2.
• textsms

딥러닝에서 말하는 경량화란?

1. 경량화란? switch transformer model은 거대하기로 유명한 GPT-3 parameter의 9.14배인 1600000000000개(1.6조) text description으로부터 image를 생성하는 DALL-E는 GPT-3 parameter의 0.068배인 12000000000개(120억) 성능을 높이려면 parameter 수를 늘려야한다고는 하지만 너무 심한 수준으로 끝을 모르고 증가하는 요즘 추세 거대기업이 아닌 일반 사람이 이런 모델을 돌리는 것은 사실상 불가능한 수준 무겁고 큰 performance가 좋은 모델에서 performance를 약간 손해보더라도 model size를 줄여 원래 모델보다 좋진 못하겠지만 어느정도 쓸 수는 있을 충분히 작은 모델을 만들고자하는 기술 경량..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 1.
• textsms

그래프(graph)란 무엇인가?

1. 그래프(graph) 정점(vertex) 집합과 간선(link) 집합으로 이루어진 수학적 구조 네트워크(network)라고도 부른다. 정점은 node라고도하고 간선(link)은 edge라고도 한다. 두개의 정점을 연결하는 선이 간선(link) 정점 쌍이 반드시 간선으로 직접 연결될 필요는 없다. 1,2,3,4,5,6 숫자 점이 정점(node) 각 node가 연결되는 선들이 간선(link) 이들의 모임이 그래프(graph), 네트워크(network) 특히 3번과 6번은 직접 연결되어있지 않다 2. 그래프의 중요성 2-1) 복잡계(complex system) A complex system is a system composed of many components which may interact with e..

• format_list_bulleted 딥러닝/Graph
• · 2022. 1. 19.
• textsms