1. introduction pruning을 모두 관통하는 핵심은 결국 덜 중요한 weight를 제거하는 것 어떻게 제거하느냐에 따라 그 방법이 매우 많음 수 많은 pruning의 극히 일부분…. 앞으로도 쏟아져 나올 것인데 당연히 다 알 수는 없는 부분 global magnitude pruning은 network의 모든 곳에서 절댓값이 가장 낮은 weight를 제거 layerwise magnitude pruning은 각 layer에서 절댓값이 가장 낮은 weight를 제거함 global gradient magnitude pruning은 input의 batch에 의해 계산된 gradient로부터 weight와 gradient의 곱의 절댓값이 가장 낮은 weight를 제거함 layerwise gradien..
1. motivation 상품을 추천하고자하는 사용자가 x일때, x와 유사한 취향을 가지는 여러 사용자들을 찾는다. 이 유사한 취향을 가지는 여러 사용자들이 선호한 상품들을 찾는다. 이 상품들을 x에게 추천하고자 하는 방법이 협업 필터링이다. 2. idea 유사한 취향의 사용자들을 찾는 것이 핵심인데 어떻게 찾아야 할까? 위와 같은 상황을 상상해보자. 평점이 입력되지 않는 경우도 존재한다. 그리고 한눈에 보면 지수와 제니는 취향이 비슷하고 제니와 로제는 취향이 서로 반대된다. 지표로 어떻게 나타내냐? 평점간 상관계수로 두 사람의 취향의 유사도를 구하는 것이다. 공동 구매한 상품을 가정하고 있는데 2명중 평점을 1명만 제시한 경우 그 상품은 상관계수 계산에 제외하겠다는 것이다. 당연하지만 분자를 보면 같은..
1. 추천 시스템이란 무엇인가 1-1) example 아마존의 웹페이지에서는 이전에 구매한 상품을 바탕으로 앞으로도 구매할 법한 상품을 추천해줌 심지어 함께 구매하면 좋은 상품도 추천해줌 영어 써진거 보니까 이미 해당 상품을 산 사람이 또 산 상품을 추천해주는 것 같네 스팀처럼 이전에 본 영화를 바탕으로 추천 이유를 명시해주면서 비슷한 영화를 추천해줌 유튜브는 그동안 본 영상을 바탕으로 맞춤형 추천 영상을 제시함 1-2) recommendation system on graph 추천 시스템은 사용자가 구매할만한, 혹은 선호할법한 상품을 추천 사용자별 구매 기록은 그래프로 표현할 수 있다. 평점을 통한 명시적인 선호를 표현할 수도 있고 단순히 구매기록만 나타낸 암시적인 선호를 표현할 수도 있다. 추천 시스템..
1. iterative pruning network가 존재하면 neuron weight들의 중요도를 계산함 중요도가 적은 weight는 적절하게 제거함 이후 데이터를 다시 넣어 fine-tuning을 수행하면서 weight를 업데이트 pruning을 계속하고 싶으면 weight의 중요도를 다시 계산하여 위 과정을 반복 pruning을 중단하고 싶으면 그대로 사용.. 단 1번만 할 수는 있지만 보통 여러번 반복 pruning을 수행함 2. pruning의 알고리즘 N이 pruning의 반복수이고 X가 훈련데이터(fine-tuning에도 사용) 먼저 weight를 초기화하고 network를 training하여 weight를 convergence시킴 weight의 차원과 크기가 동일한 1로 가득찬 mask 행..
0. weighted sum model 원소들에 어떤 가중치들을 곱하여 선형결합을 한 형태 원소들의 가중평균 decision theory에서 무언가를 결정하고자 할 때 중요한 요소는 가중치를 크게 부여하고 덜 중요한 요소는 가중치를 적게 부여한다는 것에서 의미를 가짐 neural network에서 학습에 중요한 parameter도 있고 중요하지 않은 parameter도 있는데 안중요한 parameter를 지우겠다는 pruning의 핵심 원리와도 일맥상통 cross entropy도 일종의 weighted sum이다. 1. motivation 태어날 때 50조개의 neuron이 있는데 1년 뒤에는 1000조개의 neuron이 있다고함 이제 어른이 되면서 자주 쓰는 neuron은 보존하면서 자..
1. hardware acceleration 일반적으로 CPU에서 software를 수행하는 것보다 더 효과적으로 연산, 기능을 수행하고 싶을 때 hardware acceleration을 사용함 latency를 줄이고 throughput를 증가시키기 위한 목적 CPU도 일종의 accelerator라고 할 수는 있으나 general processor에 가깝고 hardware accelerator는 보통은 GPU, TPU 등등을 의미함 CPU 자체에서 모든 데이터 계산을 할 수도 있고 GPU같은 곳에 특화된, 병렬처리 했을 때 더 좋은 데이터 같은 경우 GPU에 보내 처리를 하여 CPU로 돌려받는 식으로 데이터 처리를 함 CPU와 hardware accelerator가 정보를 주고 받으며 데이터 처리 2. ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
