CenterFormer: Center-based transformer for 3D object detection

2022/09/12

 

1. abstract

 

쿼리 기반의 transformer은 많은 이미지 영역 task에서 긴 범위의 attention을 구성하는데 큰 잠재력을 보여주었다.

 

그러나 point cloud data의 압도적인 크기 때문에 LiDAR기반의 3D object detection에서 드물게 고려된다.

 

이 논문에서 우리는 CenterFormer을 제안한다. center 기반의 transformer network로 3D object detection을 위한 것이다.

 

CenterFormer은 먼저 center heatmap을 사용하여 voxel(volume+pixel) 기반의 표준 point cloud encoder의 위쪽에 대한 center 후보를 선택한다.

 

그 때 center 후보들의 feature를 transformer의 쿼리 embedding으로 사용하여 후에 다양한 프레임에서 feature를 통합하기 위해 우리는 cross attention을 위한 feature를 융합한다.

 

마지막에 regression head는 output center feature representation에서 bounding box를 예측하기 위해 더해졌다.

 

우리의 디자인은 수렴의 어려움을 감소시키고 transformer 구조의 계산 복잡도를 감소시켰다.

 

결과는 anchor이 없는 object detection의 강력한 베이스라인으로서 상당한 개선을 보여주었다.

 

CenterFormer은 Waymo Open Dataset에서 단일 모델에서의 SOTA 성능을 보여주는데, 73.7% mAPH를 validation set에서 보여주고 75.6%의 mAPH 성능을 test set으로 보여준다.

 

이는 이전에 나온 CNN, transformer 기반의 방식을 모두 상당히 압도하는 성능이다.

 

https://paperswithcode.com/paper/centerformer-center-based-transformer-for-3d

Papers with Code - CenterFormer: Center-based Transformer for 3D Object Detection