TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

https://paperswithcode.com/paper/meta-learning-a-real-time-tabular-automl

Papers with Code - TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

 

1. abstract

 

우리는 작은 tabular dataset을 1초보다 적은 시간으로 지도학습 분류를 수행할 수 있고 hyperparameter tuning도 필요없으며 SOTA classification 방법과 견줄만한 TabPFN을 제안한다

 

TabPFN은 세트로 training, test sample을 입력받아 단일 패스로 전체 test set에 대한 예측치를 산출하는 우리 네트워크의 가중치를 포함하고 있다

 

TabPFN은 Prior-Data Fitted Network(PFN)이고 prior에서 만든 synthetic 데이터셋에서 베이지안 추론으로 근사하기 위해 오프라인 방식으로 한번에 학습을 한다

 

이런 prior은 인과적 추론의 아이디어를 통합하여, 단순한 구조를 선호하는, 구조적 인과 추론 모델의 넓은 공간을 포함하고 있다.

 

OpenML-CC18 suite에서 나온 30개의 작은 데이터셋에서 우리는 boosting tree모델의 성능을 분명하게 뛰어넘었고, 70배 스피드업까지, 복잡한 SOTA AutoML 모델과 같은 수준의 성능을 보인다.

 

GPU가 이용가능할때, 3200배 스피드업까지 증가시킬 수 있다. 우리는 모든 코드, 학습한 TabPFN, colab등을 깃허브에 제공하고 있다.

 

------------------------

 

무슨말인지 모르겠지만.. 아무튼 tabular 모델의 transformer 적용이 꽤 발전하고 있는 것 같기는 한가봐..