1. CO2 emission model을 줄일 때 고려할 cost로 재밌는 것이 CO2 emission NAS 1번 train할 때 626155파운드(약 284톤)의 CO2 발생 그냥 생각없이 자원 많으니까 performance 올리겠다고 모델 돌리다가 엄청난 양의 CO2 발생 별거 아닌 양이면 무시하겠지만 284톤이면 무시할만한 양은 아니니 고려해야할 중요한 constraint transformer도 CO2 엄청 나온다고 했던것 같은데 아닌가??? 2. model size 모델 크기를 줄이려는 compression에서 size는 당연히 고려해야할 중요한 사항이다. compression으로 줄였다고 생각했지만 output으로 나온 model의 size가 생각보다 커버리면 문제가 있음 앱스토어에 150mb..
1. problem solving large model이라는 initial state 데이터가 아닌 model이 input 적절한 경량화 기술을 통해 problem solving을 하여 compressed model을 얻는 과정이 model compression 적절한 경량화 기술은 pruning, quantization, knowledge distillation, filter decomposition 등을 의미 model compression의 decision problem solving 그림 2. optimization problem large neural network가 주어질 때 pruning, quantization, knowledge distillation, filter decompositio..
1. cloud intelligence vs. edge intelligence cloud intelligence는 기기들의 데이터를 base station에서 모아 cloud라는 중앙서버에서 처리하여 domain으로 보내 기기들이 수천만대에 이르는데 서버의 가중이 너무 심해지고 데이터도 너무 많아 처리하기 힘들다 edge intelligence는 base station까지 갈수도 있지만 많은 기기들이 edge 서버에서 직접 처리하여 정보를 주고 받아 work load들이 분산됨 2. edge training edge device 자체가 전력도 적고 메모리도 적어서 on-device에서 training하기는 쉽지 않다 inference 과정에서 메모리 크기는 많이 들지는 않으나 training 과정에서 필..
기존에 사용하던 aws, Azure, Google Cloud 등 cloud 환경은 사용하기 쉬우나 비용이 많이 들고 데이터가 랜선을 타고 다니면서 privacy문제와 network connection이 필요하다는 문제가 있음 의료 데이터 같은 경우는 privacy 문제가 매우 중요해서 랜선을 타고 밖으로 나가는 경우를 방지하기 위해(심지어 cloud 서비스 사용이 불법인 경우도 있음) on-premise로 직접 서버를 구축하여 사용하는데 비용도 많이 들고 무거우며 개인이 사용하기 어렵다 -------------------------------------------------------------------------------------------------------------------------- ..
1. on-device AI model의 size는 점점 커지면서 그동안 model과는 비교할 수 없을 정도의 압도적인 괴물 model GPT-3가 등장했다 2021년 등장한 switch transformer은 이 GPT-3보다 9.14배나 더 큰 모델 GPT-3는 1번 training하는 것에만 한국 돈으로 약 50억 정확도를 80% > 90% > 99%로 10%정도 올리고 싶다고 50억을 쓰는게 물론 정확도를 높이는 것은 중요하지만 정말 맞는 일인가? 2. lightweight AI의 필요성 TinyML, on-device AI, Edge AI, Embedded AI, Edge intelligence 등으로 불림 소비자가 반응하는거에 빠르게 제공해줬으면(real time customer engagem..
1. 경량화란? switch transformer model은 거대하기로 유명한 GPT-3 parameter의 9.14배인 1600000000000개(1.6조) text description으로부터 image를 생성하는 DALL-E는 GPT-3 parameter의 0.068배인 12000000000개(120억) 성능을 높이려면 parameter 수를 늘려야한다고는 하지만 너무 심한 수준으로 끝을 모르고 증가하는 요즘 추세 거대기업이 아닌 일반 사람이 이런 모델을 돌리는 것은 사실상 불가능한 수준 무겁고 큰 performance가 좋은 모델에서 performance를 약간 손해보더라도 model size를 줄여 원래 모델보다 좋진 못하겠지만 어느정도 쓸 수는 있을 충분히 작은 모델을 만들고자하는 기술 경량..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
