괴물 언어모델 GPT-1에서 더 강력해진 GPT-2 파헤치기

1. 기본적인 특징 GPT-1에서 발전된 형태 ‘Just a really big transformer’ 특별한 구조 변경없이 transformer self attention block을 더욱 쌓아올려 모델 크기를 키웠다 pre-train task로 주어진 text의 다음 단어를 맞추는 language modeling “language model은 model의 구조나 parameter를 변경하지 않고도 zero shot setting에서 downstream task를 수행할 수 있다.” 정확히 말하면 훈련 시 다양한 스킬이나 패턴을 인식하는 방법을 학습함으로써 추론 시 downstream task에 빠르게 적응하도록 하는 방법이다. GPT-2에서는 이러한 방법을 "in-context learning" 방식..

• format_list_bulleted NLP
• · 2022. 10. 21.
• textsms

NLP의 transfer learning 기본 개념(zero shot, one shot, few shot) 익히기

1. transfer learning transfer learning은 특정한 task를 학습한 모델을 다른 원하는 task에 이용하는 모델링 방식을 말한다. 이전에 미리 학습한(pre-training) 모델이 가지고 있는 지식이 원하는 task에서 유용하게 활용될 수 있을 것이라는 기대가 있어서 그렇다. 실제로 사람도 이미 가지고 있는 지식을 바탕으로 전혀 모르는 새로운 학습에 경험이나 노하우 등을 유용하게 써먹잖아 pre-train된 모델을 그대로 사용하거나 목적 task를 위한 작은 layer를 추가하여 학습하는 방식이 바로 transfer learning이다. 2. pre-training for up-stream task pre-training 과정에서 수행하는 task를 특별히 up-stream..

• format_list_bulleted NLP
• · 2022. 10. 20.
• textsms