1. problem solving large model이라는 initial state 데이터가 아닌 model이 input 적절한 경량화 기술을 통해 problem solving을 하여 compressed model을 얻는 과정이 model compression 적절한 경량화 기술은 pruning, quantization, knowledge distillation, filter decomposition 등을 의미 model compression의 decision problem solving 그림 2. optimization problem large neural network가 주어질 때 pruning, quantization, knowledge distillation, filter decompositio..
1. cloud intelligence vs. edge intelligence cloud intelligence는 기기들의 데이터를 base station에서 모아 cloud라는 중앙서버에서 처리하여 domain으로 보내 기기들이 수천만대에 이르는데 서버의 가중이 너무 심해지고 데이터도 너무 많아 처리하기 힘들다 edge intelligence는 base station까지 갈수도 있지만 많은 기기들이 edge 서버에서 직접 처리하여 정보를 주고 받아 work load들이 분산됨 2. edge training edge device 자체가 전력도 적고 메모리도 적어서 on-device에서 training하기는 쉽지 않다 inference 과정에서 메모리 크기는 많이 들지는 않으나 training 과정에서 필..
기존에 사용하던 aws, Azure, Google Cloud 등 cloud 환경은 사용하기 쉬우나 비용이 많이 들고 데이터가 랜선을 타고 다니면서 privacy문제와 network connection이 필요하다는 문제가 있음 의료 데이터 같은 경우는 privacy 문제가 매우 중요해서 랜선을 타고 밖으로 나가는 경우를 방지하기 위해(심지어 cloud 서비스 사용이 불법인 경우도 있음) on-premise로 직접 서버를 구축하여 사용하는데 비용도 많이 들고 무거우며 개인이 사용하기 어렵다 -------------------------------------------------------------------------------------------------------------------------- ..
1. on-device AI model의 size는 점점 커지면서 그동안 model과는 비교할 수 없을 정도의 압도적인 괴물 model GPT-3가 등장했다 2021년 등장한 switch transformer은 이 GPT-3보다 9.14배나 더 큰 모델 GPT-3는 1번 training하는 것에만 한국 돈으로 약 50억 정확도를 80% > 90% > 99%로 10%정도 올리고 싶다고 50억을 쓰는게 물론 정확도를 높이는 것은 중요하지만 정말 맞는 일인가? 2. lightweight AI의 필요성 TinyML, on-device AI, Edge AI, Embedded AI, Edge intelligence 등으로 불림 소비자가 반응하는거에 빠르게 제공해줬으면(real time customer engagem..
1. 경량화란? switch transformer model은 거대하기로 유명한 GPT-3 parameter의 9.14배인 1600000000000개(1.6조) text description으로부터 image를 생성하는 DALL-E는 GPT-3 parameter의 0.068배인 12000000000개(120억) 성능을 높이려면 parameter 수를 늘려야한다고는 하지만 너무 심한 수준으로 끝을 모르고 증가하는 요즘 추세 거대기업이 아닌 일반 사람이 이런 모델을 돌리는 것은 사실상 불가능한 수준 무겁고 큰 performance가 좋은 모델에서 performance를 약간 손해보더라도 model size를 줄여 원래 모델보다 좋진 못하겠지만 어느정도 쓸 수는 있을 충분히 작은 모델을 만들고자하는 기술 경량..
중심단어 기준으로 몇개의 단어를 볼지 그 범위를 window라고 한다. 왜 헷갈리기 시작했냐면 중심단어가 무조건 하나만 있다고 생각이 고정되어버리는 거임 예측하고자 하는 중심단어는 선택할 수가 있다. 무슨말이냐면 "The fat cat sat on the mat" 이 문장이 입력으로 주어졌다고 생각해보자. 근데 이제 그냥 중심단어를 무조건 sat이라 하고 window size=3이라 해서 나머지 {"The", "fat", "cat", "on", "the", "mat"}가 주변단어라고 해버리니까 생각이 멈춰버리는거임.. 모델이 embedding vector를 구하는게 목적이라고 생각한다면 모든 단어에 대해서 embedding vector를 구해야할거 아니냐 그러니까 모든 단어가 중심단어가 될 수 있다는 것..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
