panoptic segmentation을 위한 UPSNet의 아이디어

1. panoptic segmentation

 

기존 instance segmentation이 이미지의 배경에는 관심이 없어서 배경에 특별히 관심이 있는 경우에는 오히려 semantic segmentation이 유리했다

 

근데 문제는 배경에도 관심이 있으면서 서로 다른 물체를 구분하고 싶은 경우도 있을 수 있다.

 

semantic segmentation은 같은 클래스의 서로 다른 물체를 구분하지 못한다. 

 

panoptic segmentation은 배경 정보도 구분하며 같은 클래스더라도 서로 다른 물체라면 구분하는 더욱 진화된 기술이다.

 

 

 

2. UPSNet

 

2-1) 기본구조

 

feature pyramid network로부터 고해상도 feature map을 뽑는다

 

semantic head와 instance head로 들어가 task를 수행한다

 

semantic head는 fully convolutional 구조로 semantic map을 예측하고

 

instance head는 mask prediction, classification, box regression을 수행한다

 

두 head에서 나온 결과는 panoptic head에서 합쳐져 panoptic map을 출력한다

 

UPSNet의 기본구조

 

2-2) head의 역할

 

instance head에서 관심있어하는 object의 mask map

 

semantic head에서 이미지 내 모든 object의 mask와 object가 아닌 부분(배경) mask를 뽑음

 

semantic head의 object mask와 instance head의 관심있어하는 object의 mask map을 합쳐 관심있는 object의 완성된 mask를 뽑아냄

 

이것은 전체 영역에서 관심있는 object가 어디에 있을지 알려준다

 

바로 위에서 instance object로 사용하고 남은 부분은 모두 unknown class로 처리함

 

만들어진 배경 mask와 object mask, unknown class mask를 모두 합쳐 panoptic map을 생성

 

UPSNet이 panoptic map을 만드는 과정