convolution위치를 변형시키는 deformable convolution

1. motivation

 

자동차나 물건같은 것은 따로 따로 움직이는 형태가 없는데

 

사람이나 동물들은 팔, 다리가 상대적으로 위치를 변경하면서 움직일 수 있다

 

해당 이미지의 회전된 이미지, 반전된 이미지같은 변형된 이미지도 여전히 원본과 label은 같다

 

이미지에서 large object나 small object 등 여러가지가 있는데 고정된 크기의 convolution filter을 사용하는 것이 효과적인가?

 

그래서 filter의 크기를 유동적으로 변경시키는 deformable convolution 방법이 등장하였다

 

 

2. idea

 

offset field를 학습시키기 위한 convolution layer와 feature map을 뽑는 convolution layer 2개가 존재한다

 

offset field를 생성하는 convolution layer에 input feature map을 통과시키면 2d offset field를 생성한다

 

2d offset field에서 나온 shift parameter만큼 output feature map을 뽑는 convolution layer의 filter의 weight가 내적하는 위치를 옮겨준다

 

옮겨진 filter 위치와 내적하여 하나의 output feature를 뽑는다

 

 

고정된 정사각형 크기로만 내적해왔다면 내적하는 위치가 offset에 따라 irregular하게 바뀜

 

학습과정에서 offset을 생성하는 convolution layer와 output feature를 뽑는 convolution layer를 동시에 훈련시킬수 있다는 것이 논문의 설명

 

3. 효과

 

기존에는 작은 object든 큰 object든 receptive field가 동일했는데

 

큰 object에 대해서는 receptive field가 더 커진다는 것을 확인할 수 있다

 

 

 

receptive field가 object 크기에 무관하여 동일한 것이 아니라 조금 더 커진 것을 확인할 수 있다