closed book question answering 개념 이해하기

1. MRC와 ODQA는 무슨차이인가

 

MRC는 문서가 주어지고 그에 대한 질문이 함께 주어지면 모델이 문서를 읽고 질문에 대한 답을 내는 방식

 

ODQA는 문서가 주어지지 않았는데 질문이 주어지면 질문과 관련된 문서를 찾고 그 문서로부터 모델이 질문에 대한 답을 내는 방식

 

MRC와 ODQA의 차이를 나타내는 그림

 

 

 

2. open domain vs. open book vs. closed book

 

open domain은 질문이 주어질 때 관련된 문서를 찾아 읽고 질문에 답을 내는 task 자체를 나타냄

 

open book은 질문을 던졌을 때 모델이 질문에 답하기 위해 ‘책’이라고 할 수 있는 거대한 corpus를 접근하게 하는것

 

closed book은 corpus없이 질문을 받으면 모델이 가지고 있는 사전지식만을 활용하여 정답을 냄

 

 

3. core idea of closed book question answering

 

모델이 사전학습으로 대량의 언어 지식을 학습하였다면

 

이 언어 지식 자체가 knowledge storage인데 굳이 corpus에 접근해서 문서를 가져와 읽어봐야하는가?

 

closed book question answering

 

 

모델한테 질문을 하면 다른 corpus에 대한 접근 없이 모델이 가지고 있는 지식만으로 바로 정답을 내는 방식

 

모델이 가지고 있는 지식은 사전에 대량의 corpus로부터 미리 학습한 언어 지식들임

 

옛날에는 불가능했지만 Bert같은 large pretrained language model의 등장으로 실현가능해짐

 

2019 openAI의 GPT2가 처음으로 그 가능성을 제시함

 

사전학습에서 한번도 본적 없는 Natural Questions의 질문에 어느정도 대답할 수 있었음

 

 

 

 

4. open book vs. closed book question answering

 

open book question answering는 ‘외우지 않아도 되니까 책을 보면서 대답을 내라’

 

대량의 지식을 문서 단위로 나누고 dense나 sparse로 표현하여 저장해놓고 query가 들어오면 그와 관련된 문서를 찾는 방식

 

지식 소스를 저장하기 어려우며 관련된 문서를 검색하는 시간이 많이 소요된다

 

closed book question answering은 ‘모든걸 외우고 시험을 봐라’

 

지식을 transformer 기반의 대량의 parameter내에 내재시켜서 search과정 없이 정답을 바로 생성함

 

더 많이 배우겠지만 그만큼 큰 크기의 parameter가 필요하고 더 많은 학습 시간을 투자해야함

 

사전학습된 언어모델이 얼마나 지식을 잘 기억하고 있는지가 중요함

 

그러나 많은 경우 그 지식을 까먹거나 틀린경우도 많고 그 지식이라는 것이 도대체 어디있는 것인지 알기가 어려움.. 해석이 어렵다는 뜻