CNN visualization5 - Class Activation Map(CAM) -

1. motivation 주어진 이미지의 어떤 부분을 특히 참조하여 class를 판단했는지 heatmap 형태로 표현 이것의 또 다른 의미는 중요한 부분을 bounding box로 처리하여 사용할 수도 있다는 점 색이 잘 나온 부분을 bounding box로 처리하여 사용할 수도 있다 2. CAM 구조 convolutional layer를 최종적으로 통과하고 나온 feature map을 global average pooling(gap)을 통과시키고 fully connected layer를 통과시켜 task를 하는 부분을 CAM 구조라고 한다 3. idea CNN을 통과하면 k개의 channel을 가지는 feature map이 나온다고 하자 global average pooling이란 그러한 feature..

• format_list_bulleted 딥러닝/Computer Vision
• · 2023. 6. 24.
• textsms

fully convolutional network는 어떻게 임의의 input size에서 동작하게 만들었을까?

1. 어떻게 하면 임의의 size에도 동작할 수 있을까? 기존 네트워크의 마지막 단인 fully connected layer 대신에 1*1 convolutional layer로 구성하여 가능하게 만들었다 기존 네트워크의 경우는 마지막이 fully connected layer로 linear layer니까 vector 형태로 나와서 class에 대한 확률분포를 구해주기에 적절했다면 fully convolutional network는 convolutional layer이므로 activation map을 출력하여 각 pixel에 속하는 classification 결과를 알 수 있게 해준다. 2. 1*1 convolution layer의 성질 기존 네트워크의 문제점은 output이 하나의 벡터로 나와 이미지 ma..

• format_list_bulleted 딥러닝/Computer Vision
• · 2022. 4. 20.
• textsms

semantic segmentation을 할 수 있는 fully convolutional network의 특징

1. semantic segmentation의 기본 image classification은 이미지 단위로 category를 분류했다면 이번에는 이미지 내 존재하는 pixel단위로 classification을 한다 구체적으로 이미지 내 pixel이 사람에 속하는지 자동차에 속하는지 오토바이에 속하는지 구분한다 이미지 속에서 물체의 마스크를 만들어 색으로 구분함 A라는 pixel은 사람에 속하고 B라는 pixel은 자동차에 속하고 C라는 pixel은 오토바이에 속하고 의문이 생기는 점은 서로 다른 사람들이나 서로 다른 물체도 구분해주느냐인데 semantic segmentation은 서로 다른 물체인 instance는 구분하지 않고 물체의 본질인 class만 구분한다(파이썬 class, instance 개념이..

• format_list_bulleted 딥러닝/Computer Vision
• · 2022. 4. 19.
• textsms

image classification 문제 이해하기

1. model input을 받아 output을 낸다 input은 이미지 뿐만 아니라 tabular(정형데이터), sound, text 등 다양함 어떤 input을 쓰고 어떤 output을 쓰고 어떤 model을 쓸지에 따라 task 이름이 결정 다양한 형태의 input을 잘 이해해야 model이 output을 어떻게 내는지 잘 이해할 수 있을 것 image classification task는? image를 input으로 넣어 model이 categorical class를 output으로 낸다 이미지나 영상을 입력하고 이미지나 영상의 카테고리를 출력으로 주는 것 입력으로 준 이미지나 영상의 카테고리를 분류하는 하나의 함수 mapping을 classifier라고 한다 그러나 output도 0~1사이의 c..

• format_list_bulleted 딥러닝/Computer Vision
• · 2022. 1. 27.
• textsms