딥러닝 경량화 기법 pruning은 무엇이고 왜 등장했는가

0. weighted sum model   원소들에 어떤 가중치들을 곱하여 선형결합을 한 형태  원소들의 가중평균 decision theory에서 무언가를 결정하고자 할 때 중요한 요소는 가중치를 크게 부여하고  덜 중요한 요소는 가중치를 적게 부여한다는 것에서 의미를 가짐 neural network에서 학습에 중요한 parameter도 있고 중요하지 않은 parameter도 있는데  안중요한 parameter를 지우겠다는 pruning의 핵심 원리와도 일맥상통  cross entropy도 일종의 weighted sum이다.    1. motivation 태어날 때 50조개의 neuron이 있는데 1년 뒤에는 1000조개의 neuron이 있다고함 이제 어른이 되면서 자주 쓰는 neuron은 보존하면서 자..