lottery ticket을 찾는 방법들로 제안된 방법들 살펴보기

1. iterative magnitude pruning 최초 논문에서 제안한 lottery ticket를 찾는 방법 초기 W0로 parameter initialization을 수행하고 T번 training을 수행 이 때 magnitude pruning을 수행하여 mask m1을 찾는 것임 magnitude는 weight의 크기를 기준으로 적은 크기를 가지는 weight를 제거함 그러면 이제 이게 lottery ticket인지 확인하기 위해 초기 W0에 mask m1을 씌운 뒤 T번 training을 시켜 검증을 하는거지 아니라면 다른 pruning을 수행하여 mask m2를 얻고 위 과정을 계속 반복해서 lottery ticket를 찾겠다 이거임    2. iterative magnitude prunin..

• format_list_bulleted light weight modeling
• · 2024. 11. 25.
• textsms

iterative pruning의 여러가지 변형 버전 알아보기

1. iterative pruning pruning을 한번에 너무 많이 하여 많은 weight를 한번에 제거하고 retraining을 하면 정확도가 회복이 안된다는 사실이 알려짐 그래서 pruning을 조금씩 하고 retraining하고 다시 조금씩 하고 retraining하는 iterative pruning을 수행함 iterative pruning을 하는 이유는 조금씩 제거해야 retraining으로 정확도가 회복이 되니까 2. iterative pruning 알고리즘1 network의 weight parameter와 모든 원소가 1로 가득찬 mask를 초기화하고 mask를 먼저 씌우네 근데 1로 가득찬 초기 mask는 씌우나 마나니까 network를 train한다 적절한 pruning을 통해 mask..

• format_list_bulleted light weight modeling
• · 2022. 11. 14.
• textsms