bounding box를 추정하는 방식이 다른 CornerNet과 CenterNet

1. CornerNet 1-1) 구조 bounding box가 top-left corner 좌표와 bottom right corner 좌표만 있으면 충분하다는 점을 이용 backbone network에서 feature map을 뽑아 top left point만을 예측하는 heatmap과 bottom right point를 예측하는 heatmap을 생성함 그 heatmap을 embedding하여 각 point가 어떤 정보를 가지는지 확률분포를 계산 top left embedding과 bottom right embedding이 같은 bounding box에서 나온 것(같은 object에서 나온 것)이라면 비슷한 분포로 나올 것 당연하지만 object가 여러개 있을 수 있으니(그림에서는 2개) point도 여..

• format_list_bulleted 딥러닝/Computer Vision
• · 2023. 6. 26.
• textsms

CNN visualization5 - Class Activation Map(CAM) -

1. motivation 주어진 이미지의 어떤 부분을 특히 참조하여 class를 판단했는지 heatmap 형태로 표현 이것의 또 다른 의미는 중요한 부분을 bounding box로 처리하여 사용할 수도 있다는 점 색이 잘 나온 부분을 bounding box로 처리하여 사용할 수도 있다 2. CAM 구조 convolutional layer를 최종적으로 통과하고 나온 feature map을 global average pooling(gap)을 통과시키고 fully connected layer를 통과시켜 task를 하는 부분을 CAM 구조라고 한다 3. idea CNN을 통과하면 k개의 channel을 가지는 feature map이 나온다고 하자 global average pooling이란 그러한 feature..

• format_list_bulleted 딥러닝/Computer Vision
• · 2023. 6. 24.
• textsms

CNN visualization3 - occlusion map & backpropagation saliency map

1. occlusion map 1-1) motivation 이제부터는 모형이 특정 입력을 어떻게 바라보고 출력을 내는지 알아볼 것 saliency test라는 것은 각 이미지의 class를 판정하기 위해 모델이 중요하게 생각하는 부분들을 알아보는 과정 1-2) occlusion map 주어진 코끼리 이미지에서 occlusion patch라는 것으로 가려서 모델에 넣어줌 동일한 코끼리 이미지를 서로 다른 occlusion patch로 가렸을 때 각각이 코끼리라고 분류할 조건부 확률을 구해본다면 당연하지만 코끼리로 판단하는데 중요한 부분을 가릴수록 코끼리라고 할 확률이 떨어진다 occlusion patch로 어디를 가리느냐에 따라 score가 다르다. 중요한 부분을 가리면 score가 급격하게 떨어지고 큰 ..

• format_list_bulleted 딥러닝/Computer Vision
• · 2023. 6. 21.
• textsms