lottery ticket을 찾는 방법들로 제안된 방법들 살펴보기

1. iterative magnitude pruning 최초 논문에서 제안한 lottery ticket를 찾는 방법 초기 W0로 parameter initialization을 수행하고 T번 training을 수행 이 때 magnitude pruning을 수행하여 mask m1을 찾는 것임 magnitude는 weight의 크기를 기준으로 적은 크기를 가지는 weight를 제거함 그러면 이제 이게 lottery ticket인지 확인하기 위해 초기 W0에 mask m1을 씌운 뒤 T번 training을 시켜 검증을 하는거지 아니라면 다른 pruning을 수행하여 mask m2를 얻고 위 과정을 계속 반복해서 lottery ticket를 찾겠다 이거임    2. iterative magnitude prunin..