3d 모델을 추정하는 Denspose와 다양한 task를 한번에 풀어내는 RetinaFace

1. DensePose 1-1) UV map 3차원 모델을 2차원 U-V좌표계에 표현하는 방법 모델 상 점과 UV 좌표계의 점이 1:1 대응된다 3D 모델이 움직이더라도 모델의 각 부분들이 고유 id가 있어서 map에 그대로 matching된다고 한다 다시 말하면 UV map과 3D 모델은 움직이더라도 한번 UV map상 위치를 알면 3D 모델의 위치를 추적할 수 있는 불변의 관계에 있다. UV map을 color 코딩해서 대응하는 부분에 맞춰서 입히면 3d모델이 된다는 것 같음 각 좌표축에 색이 있는데 위치에 맞는 그 색을 가져오나봄 1-2) DensePose R-CNN UV map이 3d model의 좌표와 1:1대응한다는 점을 응용 UV map의 좌표를 출력하면 3d model의 좌표를 출력하는 것..

• format_list_bulleted Computer Vision
• · 2023. 6. 26.
• textsms

landmark localization task 기본개념 배우기

1. motivation 사람의 얼굴, 포즈, 특정 물체에 대해 중요하다고 생각하는 특징 부분의 좌표를 추정하는 문제 여기서 말하는 ‘중요하다고 생각하는 특징’이 landmark, keypoint이며 개수나 대상 위치 등이 미리 정의돼있다 사람의 얼굴에서는 눈, 코, 입 등이 중요한 landmark라고 미리 정의하고 localization을 수행한 것이다 2. coordinate regression N개 landmark의 (x,y)위치를 2N dimension vector로 예측함 부정확하고 일반화가 어려운 문제가 있다 image를 CNN에 넣어 feature map을 뽑고 fully connected layer로 x,y 좌표 dimension vector로 예측 3. heatmap classificat..

• format_list_bulleted Computer Vision
• · 2023. 6. 25.
• textsms

CNN visualization6 - grad CAM -

1. motivation ResNet과 GoogleNet은 이미 CAM구조를 가지고 있어서 상관없는데 AlexNet은 global average pooling이 아닌 flatten을 사용했고 fully connected layer도 2개나 사용 이것을 억지로 CAM 구조로 바꾸고 사용한다면 모델 구조가 바뀌면서 parameter size가 호환이 안될 수 있는 문제부터 재학습까지 해야하고 결과적으로 전체적인 모형 성능이 떨어질 수 있음 그래서 특별히 구조를 변경하지도 않고 재학습도 하지 않으면서 CAM을 뽑는 괴물같은 방법이 등장했다 image를 넣으면 CAM처럼 어디 보고 고양이나 개를 판별했는지 heatmap을 그려준다 당연하지만 guided backpropagation saliency map보다 해..

• format_list_bulleted Computer Vision
• · 2023. 6. 24.
• textsms

CNN visualization5 - Class Activation Map(CAM) -

1. motivation 주어진 이미지의 어떤 부분을 특히 참조하여 class를 판단했는지 heatmap 형태로 표현 이것의 또 다른 의미는 중요한 부분을 bounding box로 처리하여 사용할 수도 있다는 점 색이 잘 나온 부분을 bounding box로 처리하여 사용할 수도 있다 2. CAM 구조 convolutional layer를 최종적으로 통과하고 나온 feature map을 global average pooling(gap)을 통과시키고 fully connected layer를 통과시켜 task를 하는 부분을 CAM 구조라고 한다 3. idea CNN을 통과하면 k개의 channel을 가지는 feature map이 나온다고 하자 global average pooling이란 그러한 feature..

• format_list_bulleted Computer Vision
• · 2023. 6. 24.
• textsms

CNN visualization4 - guided backpropagation -

1. motivation CNN에서 일반적으로 ReLU를 사용하여 forward pass를 한다 ReLU는 음수 부분을 0으로 만드는 성질이 있다 이것의 backpropagation은 input단에서 음수부분은 gradient가 존재하지 않는다는 것을 기억한다면 gradient map이 가더라도 gradient가 음수인 부분은 input에서 0으로 masking되어 구해진다 파란색 부분은 input단에서 양수인 부분이라 gradient map에서 gradient 값이 들어올 수 있음 2. Zeiler의 deconvolution 앞에서 backpropagation이 input단의 음수인 부분에서 gradient가 흐르지 않게 만들었는데 input으로 들어오는 gradient map에서 음수인 gradien..

• format_list_bulleted Computer Vision
• · 2023. 6. 22.
• textsms

CNN visualization3 - occlusion map & backpropagation saliency map

1. occlusion map 1-1) motivation 이제부터는 모형이 특정 입력을 어떻게 바라보고 출력을 내는지 알아볼 것 saliency test라는 것은 각 이미지의 class를 판정하기 위해 모델이 중요하게 생각하는 부분들을 알아보는 과정 1-2) occlusion map 주어진 코끼리 이미지에서 occlusion patch라는 것으로 가려서 모델에 넣어줌 동일한 코끼리 이미지를 서로 다른 occlusion patch로 가렸을 때 각각이 코끼리라고 분류할 조건부 확률을 구해본다면 당연하지만 코끼리로 판단하는데 중요한 부분을 가릴수록 코끼리라고 할 확률이 떨어진다 occlusion patch로 어디를 가리느냐에 따라 score가 다르다. 중요한 부분을 가리면 score가 급격하게 떨어지고 큰 ..

• format_list_bulleted Computer Vision
• · 2023. 6. 21.
• textsms