괴물 언어모델 GPT-1에서 더 강력해진 GPT-2 파헤치기

1. 기본적인 특징 GPT-1에서 발전된 형태 ‘Just a really big transformer’ 특별한 구조 변경없이 transformer self attention block을 더욱 쌓아올려 모델 크기를 키웠다 pre-train task로 주어진 text의 다음 단어를 맞추는 language modeling “language model은 model의 구조나 parameter를 변경하지 않고도 zero shot setting에서 downstream task를 수행할 수 있다.” 정확히 말하면 훈련 시 다양한 스킬이나 패턴을 인식하는 방법을 학습함으로써 추론 시 downstream task에 빠르게 적응하도록 하는 방법이다. GPT-2에서는 이러한 방법을 "in-context learning" 방식..

• format_list_bulleted 딥러닝/NLP
• · 2022. 10. 21.
• textsms

transformer은 NLP의 트렌드를 어떻게 바꾸었을까

1. 기계번역의 연구 트렌드 1-1) translation based on rule 기계번역 문제는 연구자들이 수십년간 노력했던 분야로 딥러닝 이전에는 전문가들이 직접 언어간 문장구조를 고려한 rule 기반 번역을 수행했다. I love this movie라는 영어 문장을 나는 이 영화를 사랑한다.로 번역하기 위해서는 먼저 I , love, this, movie 단어별로 번역을 수행했다. 영어와 한글의 문법은 다르기 때문에 한글의 문법을 고려한 어순배열을 수행해야했다. 그러나 다양한 언어의 수많은 변수들을 일일이 고려하기에는 너무나 어렵다. 1-2) translation in RNN RNN이라는 딥러닝 기술의 등장은 이러한 고민을 해결했다. 언어학적 rule없이 단지 (영어 원문, 번역문)의 쌍으로 된 ..

• format_list_bulleted 딥러닝/NLP
• · 2022. 1. 28.
• textsms

NLP란 무엇인가?

1. natural language problem 컴퓨터가 주어진 인간의 단어나 문장을 이해하는 understanding과 적절한 자연어를 생성하는 generation으로 나뉜다. 컴퓨터 비전(CV) 분야와 더불어 딥러닝의 발전과 함께 인공지능이 가장 활발하게 적용된 분야중 하나 현재까지 주어진 단어나 문장, 문단을 보고 다음 단어를 예측하는 language modeling 주어진 문장을 이해하여 적절한 번역문을 차례대로 생성하는 machine translation 주어진 지문을 이해하고 그에 대한 질문에 적절한 대답을 제시하는 question answering 다양한 카테고리의 여러 문서를 적절한 카테고리로 분류하는 document classification 인간의 물음을 이해하고 적절한 대답을 생성하..

• format_list_bulleted 딥러닝/NLP
• · 2022. 1. 20.
• textsms