1. motivation 사람의 얼굴, 포즈, 특정 물체에 대해 중요하다고 생각하는 특징 부분의 좌표를 추정하는 문제 여기서 말하는 ‘중요하다고 생각하는 특징’이 landmark, keypoint이며 개수나 대상 위치 등이 미리 정의돼있다 사람의 얼굴에서는 눈, 코, 입 등이 중요한 landmark라고 미리 정의하고 localization을 수행한 것이다 2. coordinate regression N개 landmark의 (x,y)위치를 2N dimension vector로 예측함 부정확하고 일반화가 어려운 문제가 있다 image를 CNN에 넣어 feature map을 뽑고 fully connected layer로 x,y 좌표 dimension vector로 예측 3. heatmap classificat..
panoptic segmentation을 video에서도 사용하도록 만들고자 했다 1. 첫번째 단계 먼저 target feature map에 reference frame feature를 align시킨다(pixel fusion) reference frame과 target frame에서 convolution하여 feature map을 뽑아 각 layer의 map을 전부 합쳐 각 frame에서 하나의 map을 뽑았다 motion map $\phi$는 $\tau$시간차 나는 두 frame 사이에서 각 pixel이 서로 대응되는 함수관계를 모든 pixel에 대해 가지는 map 초기 motion map과 reference feature map, target feature map을 align시켜 새로운 motion ..
1. motivation ResNet과 GoogleNet은 이미 CAM구조를 가지고 있어서 상관없는데 AlexNet은 global average pooling이 아닌 flatten을 사용했고 fully connected layer도 2개나 사용 이것을 억지로 CAM 구조로 바꾸고 사용한다면 모델 구조가 바뀌면서 parameter size가 호환이 안될 수 있는 문제부터 재학습까지 해야하고 결과적으로 전체적인 모형 성능이 떨어질 수 있음 그래서 특별히 구조를 변경하지도 않고 재학습도 하지 않으면서 CAM을 뽑는 괴물같은 방법이 등장했다 image를 넣으면 CAM처럼 어디 보고 고양이나 개를 판별했는지 heatmap을 그려준다 당연하지만 guided backpropagation saliency map보다 해..
1. motivation CNN에서 일반적으로 ReLU를 사용하여 forward pass를 한다 ReLU는 음수 부분을 0으로 만드는 성질이 있다 이것의 backpropagation은 input단에서 음수부분은 gradient가 존재하지 않는다는 것을 기억한다면 gradient map이 가더라도 gradient가 음수인 부분은 input에서 0으로 masking되어 구해진다 파란색 부분은 input단에서 양수인 부분이라 gradient map에서 gradient 값이 들어올 수 있음 2. Zeiler의 deconvolution 앞에서 backpropagation이 input단의 음수인 부분에서 gradient가 흐르지 않게 만들었는데 input으로 들어오는 gradient map에서 음수인 gradien..
1. occlusion map 1-1) motivation 이제부터는 모형이 특정 입력을 어떻게 바라보고 출력을 내는지 알아볼 것 saliency test라는 것은 각 이미지의 class를 판정하기 위해 모델이 중요하게 생각하는 부분들을 알아보는 과정 1-2) occlusion map 주어진 코끼리 이미지에서 occlusion patch라는 것으로 가려서 모델에 넣어줌 동일한 코끼리 이미지를 서로 다른 occlusion patch로 가렸을 때 각각이 코끼리라고 분류할 조건부 확률을 구해본다면 당연하지만 코끼리로 판단하는데 중요한 부분을 가릴수록 코끼리라고 할 확률이 떨어진다 occlusion patch로 어디를 가리느냐에 따라 score가 다르다. 중요한 부분을 가리면 score가 급격하게 떨어지고 큰 ..
1. layer activation mid level feature와 high level feature를 분석하는 방법 모델의 layer의 activation map을 분석하여 layer가 어디에 집중하고 있는지를 파악하고자 했다 1-1) idea 분석하고자하는 특정 CNN layer의 채널을 선택 예시로 conv5 layer의 256개 채널중 14번째 채널을 선택 convolutional layer의 채널은 이미지를 받으면 그 이미지에 대해서 hidden node들이 얼마나 반응하는지 계산한 activation map을 출력한다 이미지를 넣어서 선택한 layer의 채널의 activation map을 저장 maximum activation value의 receptive field에 해당하는 input i..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
