1. problem solving large model이라는 initial state 데이터가 아닌 model이 input 적절한 경량화 기술을 통해 problem solving을 하여 compressed model을 얻는 과정이 model compression 적절한 경량화 기술은 pruning, quantization, knowledge distillation, filter decomposition 등을 의미 model compression의 decision problem solving 그림 2. optimization problem large neural network가 주어질 때 pruning, quantization, knowledge distillation, filter decompositio..
1. cloud intelligence vs. edge intelligence cloud intelligence는 기기들의 데이터를 base station에서 모아 cloud라는 중앙서버에서 처리하여 domain으로 보내 기기들이 수천만대에 이르는데 서버의 가중이 너무 심해지고 데이터도 너무 많아 처리하기 힘들다 edge intelligence는 base station까지 갈수도 있지만 많은 기기들이 edge 서버에서 직접 처리하여 정보를 주고 받아 work load들이 분산됨 2. edge training edge device 자체가 전력도 적고 메모리도 적어서 on-device에서 training하기는 쉽지 않다 inference 과정에서 메모리 크기는 많이 들지는 않으나 training 과정에서 필..
기존에 사용하던 aws, Azure, Google Cloud 등 cloud 환경은 사용하기 쉬우나 비용이 많이 들고 데이터가 랜선을 타고 다니면서 privacy문제와 network connection이 필요하다는 문제가 있음 의료 데이터 같은 경우는 privacy 문제가 매우 중요해서 랜선을 타고 밖으로 나가는 경우를 방지하기 위해(심지어 cloud 서비스 사용이 불법인 경우도 있음) on-premise로 직접 서버를 구축하여 사용하는데 비용도 많이 들고 무거우며 개인이 사용하기 어렵다 -------------------------------------------------------------------------------------------------------------------------- ..
1. on-device AI model의 size는 점점 커지면서 그동안 model과는 비교할 수 없을 정도의 압도적인 괴물 model GPT-3가 등장했다 2021년 등장한 switch transformer은 이 GPT-3보다 9.14배나 더 큰 모델 GPT-3는 1번 training하는 것에만 한국 돈으로 약 50억 정확도를 80% > 90% > 99%로 10%정도 올리고 싶다고 50억을 쓰는게 물론 정확도를 높이는 것은 중요하지만 정말 맞는 일인가? 2. lightweight AI의 필요성 TinyML, on-device AI, Edge AI, Embedded AI, Edge intelligence 등으로 불림 소비자가 반응하는거에 빠르게 제공해줬으면(real time customer engagem..
1. 경량화란? switch transformer model은 거대하기로 유명한 GPT-3 parameter의 9.14배인 1600000000000개(1.6조) text description으로부터 image를 생성하는 DALL-E는 GPT-3 parameter의 0.068배인 12000000000개(120억) 성능을 높이려면 parameter 수를 늘려야한다고는 하지만 너무 심한 수준으로 끝을 모르고 증가하는 요즘 추세 거대기업이 아닌 일반 사람이 이런 모델을 돌리는 것은 사실상 불가능한 수준 무겁고 큰 performance가 좋은 모델에서 performance를 약간 손해보더라도 model size를 줄여 원래 모델보다 좋진 못하겠지만 어느정도 쓸 수는 있을 충분히 작은 모델을 만들고자하는 기술 경량..
1. basic idea 이미 학습을 완료한 teacher model의 지식을 더 작은 student model에게 주입하는 것이 목적 큰 모델에서 작은 모델로 지식을 전달하여 모델 압축에 유용하게 쓴다 최근에는 teacher model의 출력을 unlabeled data의 pseudo-label로 자동생성하는 방식으로 활용함 2. unsupervised learning label이 존재하지 않는 동일한 input을 이미 학습한 teacher model과 학습이 안된 student model에 넣어 각각 output을 출력 같은 입력에 대해 서로 다른 출력을 내놓을 것인데 둘의 차이를 구해주는 KL divergence loss를 구한다 이 loss를 최소화하는 방향으로 backpropagation에 의해..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
