pruning 기본 알고리즘, regularization과의 연관성 알아보기

1. iterative pruning network가 존재하면 neuron weight들의 중요도를 계산함 중요도가 적은 weight는 적절하게 제거함 이후 데이터를 다시 넣어 fine-tuning을 수행하면서 weight를 업데이트 pruning을 계속하고 싶으면 weight의 중요도를 다시 계산하여 위 과정을 반복 pruning을 중단하고 싶으면 그대로 사용.. 단 1번만 할 수는 있지만 보통 여러번 반복 pruning을 수행함 2. pruning의 알고리즘 N이 pruning의 반복수이고 X가 훈련데이터(fine-tuning에도 사용) 먼저 weight를 초기화하고 network를 training하여 weight를 convergence시킴 weight의 차원과 크기가 동일한 1로 가득찬 mask 행..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 11. 9.
• textsms

EfficientNet은 어떻게 만들어졌을까?

1. width scaling network의 설계 방식으로 기본 baseline 설계 여기에 성능을 높이는 방법으로 width scaling 방법이 있음 채널 축을 증가시키는 수평확장 방법을 말함 inception module을 사용한 GoogleNet이나 concat으로 이전 정보들을 받아온 DenseNet 등이 비슷함 2. depth scaling layer를 깊게 쌓아올려 성능을 높이는 방식 ResNet이 이에 해당 3. resolution scaling 애초에 input의 resolution(size)을 크게하여 성능을 높이는 방법이 있음 4. compound scaling 위에서 제시한 width scaling, depth scaling, resolution scaling 모두 성능이 증가하다..

• format_list_bulleted 딥러닝/Computer Vision
• · 2022. 3. 14.
• textsms