NLP의 transfer learning 기본 개념(zero shot, one shot, few shot) 익히기

1. transfer learning transfer learning은 특정한 task를 학습한 모델을 다른 원하는 task에 이용하는 모델링 방식을 말한다. 이전에 미리 학습한(pre-training) 모델이 가지고 있는 지식이 원하는 task에서 유용하게 활용될 수 있을 것이라는 기대가 있어서 그렇다. 실제로 사람도 이미 가지고 있는 지식을 바탕으로 전혀 모르는 새로운 학습에 경험이나 노하우 등을 유용하게 써먹잖아 pre-train된 모델을 그대로 사용하거나 목적 task를 위한 작은 layer를 추가하여 학습하는 방식이 바로 transfer learning이다. 2. pre-training for up-stream task pre-training 과정에서 수행하는 task를 특별히 up-stream..

• format_list_bulleted 딥러닝/NLP
• · 2022. 10. 20.
• textsms

NLP의 최신 트렌드 - GPT-1 파헤치기

1. NLP의 최신 트렌드 transformer와 self-attention block은 NLP분야에서 범용적인 encoder,decoder로 역할을 수행하며 좋은 성능을 보였다. 처음 제안된 transformer의 self-attention block은 6개였는데 이제는 12개,24개,... 그 이상으로 더욱 쌓아올려 model을 구성한다. 이렇게 쌓은 모델을 self-supervised learning라는 framework하에 대규모의 train data로 pre-train하여 다양한 NLP task등에 transfer learning로 fine-tuning하는 형태로 활용하는 거대한 모형 BERT,GPT,ELECTRA,ALBERT 등이 등장했다. 이런 거대한 모형의 self-supervised le..

• format_list_bulleted 딥러닝/NLP
• · 2022. 6. 28.
• textsms