closed book question answering 개념 이해하기

1. MRC와 ODQA는 무슨차이인가 MRC는 문서가 주어지고 그에 대한 질문이 함께 주어지면 모델이 문서를 읽고 질문에 대한 답을 내는 방식 ODQA는 문서가 주어지지 않았는데 질문이 주어지면 질문과 관련된 문서를 찾고 그 문서로부터 모델이 질문에 대한 답을 내는 방식 2. open domain vs. open book vs. closed book open domain은 질문이 주어질 때 관련된 문서를 찾아 읽고 질문에 답을 내는 task 자체를 나타냄 open book은 질문을 던졌을 때 모델이 질문에 답하기 위해 ‘책’이라고 할 수 있는 거대한 corpus를 접근하게 하는것 closed book은 corpus없이 질문을 받으면 모델이 가지고 있는 사전지식만을 활용하여 정답을 냄 3. core ide..

• format_list_bulleted Machine Reading Comprehension
• · 2024. 4. 7.
• textsms

BERT의 Transfer learning 활용 예시 알아보기

1. BERT의 transfer learning pre-training으로 masked language modeling과 next sentence prediction을 동시에 수행한다. pre-training한 BERT는 down stream task를 위해 적절하게 초기화된 가중치를 갖고 이를 바탕으로 여러 task를 수행 2. sentence pair classification & single sentence classification sentence pair classification은 entailment prediction을 생각할 수 있을 것 같고 single sentence classification은 sentiment classification을 생각할 수 있을듯? sentence pair ..

• format_list_bulleted NLP
• · 2022. 10. 25.
• textsms

괴물 언어모델 GPT-1에서 더 강력해진 GPT-2 파헤치기

1. 기본적인 특징 GPT-1에서 발전된 형태 ‘Just a really big transformer’ 특별한 구조 변경없이 transformer self attention block을 더욱 쌓아올려 모델 크기를 키웠다 pre-train task로 주어진 text의 다음 단어를 맞추는 language modeling “language model은 model의 구조나 parameter를 변경하지 않고도 zero shot setting에서 downstream task를 수행할 수 있다.” 정확히 말하면 훈련 시 다양한 스킬이나 패턴을 인식하는 방법을 학습함으로써 추론 시 downstream task에 빠르게 적응하도록 하는 방법이다. GPT-2에서는 이러한 방법을 "in-context learning" 방식..

• format_list_bulleted NLP
• · 2022. 10. 21.
• textsms

Passage retrieval modeling

1. introduction 질문이 주어지면 관련된 문서를 데이터베이스에서 찾아서 내놓는 것이다. 데이터베이스 자체는 다양할 수 있다. 구조화된 데이터베이스나 위키피디아 같은 일반적인 웹이 모여있는 문서 위키피디아에 토트넘을 검색하면 관련된 문서가 나오는 과정을 도식화 2. importance 그동안 MRC는 지문이 주어진다고 가정하고 그에 대한 질문으로 모델이 만들어졌다고 가정한다 즉 질문은 무언가가 있어야 답이 가능하다. 무언가에 해당하는 지문이 주어져야 MRC 모델을 만들 수 있다는 말 바꿔말하면 질문에 맞는 지문을 주는 모델이 있어야 MRC 모델이 의미가 있다 만약 MRC와 passage retrieval을 연결할 수 있다면? Open Domain Question Answering 모델을 만들 수..

• format_list_bulleted Machine Reading Comprehension
• · 2022. 5. 19.
• textsms