continuous value는 구간에 존재하는 모든 실수를 나타내고 discrete value는 양자화된 숫자(quantized number)들, 구간 내에 숫자 하나하나를 나타냄 quantization이란 real number로 표현되는 continuous value를 integer multiple(a quantum of the smallest unit)로 표현하는 과정이다 컴퓨터에서는 floating point로 표현되는 continuous value를 가능한 적은 bit의 integer value로 표현하고자 하는 것이 하나의 quantization이다. 이것의 의미는 floating point 대신에 integer value를 이용해서 calculation을 수행한다는 의미다. neu..
1. decision making 1) deductive 모든 사람은 죽는다. 소크라테스는 사람이다. 따라서 소크라테스는 죽는다 이미 정의된 혹은 증명된 사실들을 바탕으로 원하는 가설들을 증명하는 과정 참고로 7C2는 7개 중에서 2개를 선택하는 경우의 수인데 이 모든 경우의 수들이 노란색 동그라미들에 전부 대응시킬수 있어서 1+2+3+4+5+6=7C2가 성립 전제에 따라 바뀌는 결과 10진수에서는 1+1=2이지만, 2진수에서는 1+1=0 12진수에서는 1+15=4, 13진수에서는 1+5=-7(6이라 해도 되긴 하는데 1+5 = 6보다는 -7로 해서 다르게 할려고 쓴것 같음) 전제가 참이면 결론이 참이다 2) inductive 해가 동쪽에서 떠서 서쪽에서 뜨는 것은 수만년 전부터 많이 관찰..
1. introduction research의 트렌드를 바꿔버린 혁명적인 가설로 한번 제기된 이후 후속논문이 지금까지도 나오고 있음 첫 network인 A를 parameter initialization을 하고 적당히 training을 하여 91%의 정확도를 얻었다고 하자. 이후 training된 network를 pruning하여 B를 얻었다고 한다. 이 때 B의 현재 parameter에서 mask로 가려지지 않은 부분을 A의 첫 initialization된 parameter로 reset한 다음에 정확히 A와 동일한 training방법을 사용하여 reset한 B를 training하면 91%에 가까운 정확도를 얻을 수 있는 그런 network B가 존재할 수 있다는 뜻이다. 이런 network B를 lott..
1. iterative pruning pruning을 한번에 너무 많이 하여 많은 weight를 한번에 제거하고 retraining을 하면 정확도가 회복이 안된다는 사실이 알려짐 그래서 pruning을 조금씩 하고 retraining하고 다시 조금씩 하고 retraining하는 iterative pruning을 수행함 iterative pruning을 하는 이유는 조금씩 제거해야 retraining으로 정확도가 회복이 되니까 2. iterative pruning 알고리즘1 network의 weight parameter와 모든 원소가 1로 가득찬 mask를 초기화하고 mask를 먼저 씌우네 근데 1로 가득찬 초기 mask는 씌우나 마나니까 network를 train한다 적절한 pruning을 통해 mask..
1. introduction pruning을 모두 관통하는 핵심은 결국 덜 중요한 weight를 제거하는 것 어떻게 제거하느냐에 따라 그 방법이 매우 많음 수 많은 pruning의 극히 일부분…. 앞으로도 쏟아져 나올 것인데 당연히 다 알 수는 없는 부분 global magnitude pruning은 network의 모든 곳에서 절댓값이 가장 낮은 weight를 제거 layerwise magnitude pruning은 각 layer에서 절댓값이 가장 낮은 weight를 제거함 global gradient magnitude pruning은 input의 batch에 의해 계산된 gradient로부터 weight와 gradient의 곱의 절댓값이 가장 낮은 weight를 제거함 layerwise gradien..
1. iterative pruning network가 존재하면 neuron weight들의 중요도를 계산함 중요도가 적은 weight는 적절하게 제거함 이후 데이터를 다시 넣어 fine-tuning을 수행하면서 weight를 업데이트 pruning을 계속하고 싶으면 weight의 중요도를 다시 계산하여 위 과정을 반복 pruning을 중단하고 싶으면 그대로 사용.. 단 1번만 할 수는 있지만 보통 여러번 반복 pruning을 수행함 2. pruning의 알고리즘 N이 pruning의 반복수이고 X가 훈련데이터(fine-tuning에도 사용) 먼저 weight를 초기화하고 network를 training하여 weight를 convergence시킴 weight의 차원과 크기가 동일한 1로 가득찬 mask 행..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
