Efficient Few-Shot Learning Without Prompts

2022/09/22

 

1. abstract

 

최근의 few-shot method, 예를 들어 parameter-efficient fine tuning(PEFT)와 pattern exploiting training(PET)가

 

label이 부족한 세팅에서 놀랄만한 결과를 보여주었다.

 

그러나 그들은 수동적으로 만들어진 prompts에 의한 높은 변동성과 높은 성능을 얻기 위해 수십억개의 parameter을 가진 language model을 요구하기 때문에 employ하기가 어렵다

 

이러한 단점을 다루기 위해 우리는 SETFIT(Sentence Transformer Fine-Tuning)을 제안한다.

 

이것은 효과적이고 prompt가 필요없는 프레임워크로 sentence transformer의 few-shot fine-tuning을 하기 위한 용도로 사용된다.

 

SETFIT은 적은 수의 text 쌍으로 pretrain된 sentence transformer(ST)의 첫 튜닝으로, contrastive Siamese 방식에 의해 사용된다

 

(contrastive learning(주어진 데이터 쌍의 유사도를 학습), Siamese neural network.. >> one-shot learning에 쓰이는 network인가봐)

 

결과 모델은 풍부한 text embedding을 생성하기 위해 사용되고, 이 embedding들은 classfication head를 training하기 위해 사용된다.

 

이런 단순한 프레임워크는 prompt나 verbalizer가 필요없이 현존하는 기법들보다 더 적은 parameter로 높은 성능을 얻는다.

 

우리의 실험이 SETFIT이 PEFT와 PET 기법과 더욱 빠른 속도로 학습하는데, 둘과 견줄만한 성능이 나온다는 것을 보여준다.

 

우리는 또한 SETFIT은 ST body를 변경만 하면 단순하게 multilingual setting으로 바꿀 수도 있다는 것을 보였다.

 

우리 코드와 데이터셋이 공개적으로 이용가능하다.

 

 

Efficient Few-Shot Learning Without Prompts | Papers With Code

Papers with Code - Efficient Few-Shot Learning Without Prompts