1. CornerNet 1-1) 구조 bounding box가 top-left corner 좌표와 bottom right corner 좌표만 있으면 충분하다는 점을 이용 backbone network에서 feature map을 뽑아 top left point만을 예측하는 heatmap과 bottom right point를 예측하는 heatmap을 생성함 그 heatmap을 embedding하여 각 point가 어떤 정보를 가지는지 확률분포를 계산 top left embedding과 bottom right embedding이 같은 bounding box에서 나온 것(같은 object에서 나온 것)이라면 비슷한 분포로 나올 것 당연하지만 object가 여러개 있을 수 있으니(그림에서는 2개) point도 여..
1. DensePose 1-1) UV map 3차원 모델을 2차원 U-V좌표계에 표현하는 방법 모델 상 점과 UV 좌표계의 점이 1:1 대응된다 3D 모델이 움직이더라도 모델의 각 부분들이 고유 id가 있어서 map에 그대로 matching된다고 한다 다시 말하면 UV map과 3D 모델은 움직이더라도 한번 UV map상 위치를 알면 3D 모델의 위치를 추적할 수 있는 불변의 관계에 있다. UV map을 color 코딩해서 대응하는 부분에 맞춰서 입히면 3d모델이 된다는 것 같음 각 좌표축에 색이 있는데 위치에 맞는 그 색을 가져오나봄 1-2) DensePose R-CNN UV map이 3d model의 좌표와 1:1대응한다는 점을 응용 UV map의 좌표를 출력하면 3d model의 좌표를 출력하는 것..
1. 전체 구조 이미지의 landmark를 추정하는 model 모래시계 모양(hourglass)의 network를 여러개 쌓아 올린 network 이미지를 최대한 작게 만들어 receptive field를 최대로 키워 landmark찾는데 신중하게 결론을 내리도록 함 skip connection 구조를 만들어 low level의 feature를 참고하여 더욱 정확한 landmark 위치를 찾도록 함 근데 단 1번의 network만 사용하지 않고 여러개 쌓아올렸다는 것은 network를 올라가면서 더욱 큰 그림을 그려가며 landmark 정보를 더욱 정교하게 찾아가도록 만들었음 2. hourglass module의 구조 하나의 stack인 hourglass module의 전반적인 구조는 위 그림의 모든 b..
1. motivation 사람의 얼굴, 포즈, 특정 물체에 대해 중요하다고 생각하는 특징 부분의 좌표를 추정하는 문제 여기서 말하는 ‘중요하다고 생각하는 특징’이 landmark, keypoint이며 개수나 대상 위치 등이 미리 정의돼있다 사람의 얼굴에서는 눈, 코, 입 등이 중요한 landmark라고 미리 정의하고 localization을 수행한 것이다 2. coordinate regression N개 landmark의 (x,y)위치를 2N dimension vector로 예측함 부정확하고 일반화가 어려운 문제가 있다 image를 CNN에 넣어 feature map을 뽑고 fully connected layer로 x,y 좌표 dimension vector로 예측 3. heatmap classificat..
panoptic segmentation을 video에서도 사용하도록 만들고자 했다 1. 첫번째 단계 먼저 target feature map에 reference frame feature를 align시킨다(pixel fusion) reference frame과 target frame에서 convolution하여 feature map을 뽑아 각 layer의 map을 전부 합쳐 각 frame에서 하나의 map을 뽑았다 motion map $\phi$는 $\tau$시간차 나는 두 frame 사이에서 각 pixel이 서로 대응되는 함수관계를 모든 pixel에 대해 가지는 map 초기 motion map과 reference feature map, target feature map을 align시켜 새로운 motion ..
1. motivation ResNet과 GoogleNet은 이미 CAM구조를 가지고 있어서 상관없는데 AlexNet은 global average pooling이 아닌 flatten을 사용했고 fully connected layer도 2개나 사용 이것을 억지로 CAM 구조로 바꾸고 사용한다면 모델 구조가 바뀌면서 parameter size가 호환이 안될 수 있는 문제부터 재학습까지 해야하고 결과적으로 전체적인 모형 성능이 떨어질 수 있음 그래서 특별히 구조를 변경하지도 않고 재학습도 하지 않으면서 CAM을 뽑는 괴물같은 방법이 등장했다 image를 넣으면 CAM처럼 어디 보고 고양이나 개를 판별했는지 heatmap을 그려준다 당연하지만 guided backpropagation saliency map보다 해..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
