arbitrary shape text detection via segmentation with probability maps

2022/08/26

 

1.abstract

 

임의의 모양의 text를 detection하는 것은 상당히 다양한 크기와 비율 측면, 임의의 방향이나 모양, 부정확한 주석 등 때문에 어려운 문제이다.

 

pixel level의 prediction의 확장성과 segmentation 기반의 방법은 다양한 크기의 텍스트에 적용할 수 있고, 그래서 최근에 상당한 관심을 끌고 있다.

 

그러나 정확한 pixel-level의 텍스트 annotation이 상당하지만 현존하는 scene text detection을 위한 데이터셋이 거친 경계가 있는 annotation만을 제공하고 있다

 

그 결과로 수많은 잘못 분류된 text pixel들이나 annotation내에서 배경 pixel들이 항상 존재하고 segmentation기반의 text detection 방법의 성능을 떨어뜨린다.

 

일반적으로 말하자면 텍스트에 속한 pixel이나 그렇지 않은 pixel이나 인접한 annotation 경계의 거리와 상당히 관련이 있다. 

 

이러한 관찰에 입각해서 이 논문에서는 우리는 정확하게 텍스트를 detection하기 위해 probability map을 이용해서 혁신적이고 robust한 segmentation 기반의 방법을 제안한다.

 

구체적으로 말하자면 우리는 Sigmoid Alpha Function(SAF)를 이용해서 경계와 probability map의 내부 픽셀 사이 거리를 전이시켰다(transfer)

 

그러나 하나의 probability map은 거친 텍스트 경계의 annotation의 불확실성때문에 복잡한 확률분포를 커버하지 못한다.

 

그러므로 우리는 sigmoid alpha function의 연속으로 계산한 probability map의 그룹을 가능한 확률분포를 묘사하는데 사용한다.

 

게다가 우리는 텍스트를 재구축하기 위한 충분한 정보를 제공하는 probability map을 완전히 이해하고 예측하기 위한 방법을 배우는 iterative model을 제안한다.

 

결국 간단한 region growth 알고리즘이 probability map을 완전한 텍스트 인스턴스로 통합시킨다.

 

실험결과는 우리의 방법이 몇가지 benchmark에 대해서 detection 정확도 관점에서 SOTA 성능을 보이고 있다는 것을 입증하고 있다.

 

주목할 점은 우리의 후처리를 위한 Watershed 알고리즘이 Total-Text, CTW1500, MSRA-TD500에서 최고의 F-measure를 보인다.

 

게다가 우리의 방법이 multi-oriented dataset인 ICDAR2015와 multilingual dataset인 ICDAR2017-MLT에서 유망한 성능을 보인다. 

 

엄청난 모델같기는 한디..

 

https://paperswithcode.com/paper/arbitrary-shape-text-detection-via

Papers with Code - Arbitrary Shape Text Detection via Segmentation with Probability Maps