값싼 비용으로 최대 효율을 낼 수 있을까 - lottery ticket hypothesis

1. introduction research의 트렌드를 바꿔버린 혁명적인 가설로 한번 제기된 이후 후속논문이 지금까지도 나오고 있음 첫 network인 A를 parameter initialization을 하고 적당히 training을 하여 91%의 정확도를 얻었다고 하자. 이후 training된 network를 pruning하여 B를 얻었다고 한다. 이 때 B의 현재 parameter에서 mask로 가려지지 않은 부분을 A의 첫 initialization된 parameter로 reset한 다음에 정확히 A와 동일한 training방법을 사용하여 reset한 B를 training하면 91%에 가까운 정확도를 얻을 수 있는 그런 network B가 존재할 수 있다는 뜻이다. 이런 network B를 lott..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 12. 31.
• textsms

iterative pruning의 여러가지 변형 버전 알아보기

1. iterative pruning pruning을 한번에 너무 많이 하여 많은 weight를 한번에 제거하고 retraining을 하면 정확도가 회복이 안된다는 사실이 알려짐 그래서 pruning을 조금씩 하고 retraining하고 다시 조금씩 하고 retraining하는 iterative pruning을 수행함 iterative pruning을 하는 이유는 조금씩 제거해야 retraining으로 정확도가 회복이 되니까 2. iterative pruning 알고리즘1 network의 weight parameter와 모든 원소가 1로 가득찬 mask를 초기화하고 mask를 먼저 씌우네 근데 1로 가득찬 초기 mask는 씌우나 마나니까 network를 train한다 적절한 pruning을 통해 mask..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 11. 14.
• textsms

panoptic segmentation을 위한 UPSNet의 아이디어

1. panoptic segmentation 기존 instance segmentation이 이미지의 배경에는 관심이 없어서 배경에 특별히 관심이 있는 경우에는 오히려 semantic segmentation이 유리했다 근데 문제는 배경에도 관심이 있으면서 서로 다른 물체를 구분하고 싶은 경우도 있을 수 있다. semantic segmentation은 같은 클래스의 서로 다른 물체를 구분하지 못한다. panoptic segmentation은 배경 정보도 구분하며 같은 클래스더라도 서로 다른 물체라면 구분하는 더욱 진화된 기술이다. 2. UPSNet 2-1) 기본구조 feature pyramid network로부터 고해상도 feature map을 뽑는다 semantic head와 instance head로 들..

• format_list_bulleted 딥러닝/Computer Vision
• · 2022. 10. 31.
• textsms