pruning을 하는 여러가지 방법들

1. introduction pruning을 모두 관통하는 핵심은 결국 덜 중요한 weight를 제거하는 것 어떻게 제거하느냐에 따라 그 방법이 매우 많음 수 많은 pruning의 극히 일부분…. 앞으로도 쏟아져 나올 것인데 당연히 다 알 수는 없는 부분 global magnitude pruning은 network의 모든 곳에서 절댓값이 가장 낮은 weight를 제거 layerwise magnitude pruning은 각 layer에서 절댓값이 가장 낮은 weight를 제거함 global gradient magnitude pruning은 input의 batch에 의해 계산된 gradient로부터 weight와 gradient의 곱의 절댓값이 가장 낮은 weight를 제거함 layerwise gradien..

• format_list_bulleted light weight modeling
• · 2022. 11. 12.
• textsms

pruning 기본 알고리즘, regularization과의 연관성 알아보기

1. iterative pruning network가 존재하면 neuron weight들의 중요도를 계산함 중요도가 적은 weight는 적절하게 제거함 이후 데이터를 다시 넣어 fine-tuning을 수행하면서 weight를 업데이트 pruning을 계속하고 싶으면 weight의 중요도를 다시 계산하여 위 과정을 반복 pruning을 중단하고 싶으면 그대로 사용.. 단 1번만 할 수는 있지만 보통 여러번 반복 pruning을 수행함 2. pruning의 알고리즘 N이 pruning의 반복수이고 X가 훈련데이터(fine-tuning에도 사용) 먼저 weight를 초기화하고 network를 training하여 weight를 convergence시킴 weight의 차원과 크기가 동일한 1로 가득찬 mask 행..

• format_list_bulleted light weight modeling
• · 2022. 11. 9.
• textsms