Machine reading comprehension 개요

1. Machine reading comprehension이란?

 

지문이 주어지고 주어진 지문을 이해하여 주어진 질의에 대한 답변을 추론하는 문제

 

 

 

서울 특별시에 대한 지문 context가 주어질 때 이 문서에 대한 질문으로 question ‘서울의 GDP는 세계 몇위인지?’

 

context와 question을 input으로 받아 machine이 이해하여 최종적으로 answer로 ‘세계 4위’라고 내놓는게 목표

 

 

1-1) 검색 엔진에서 MRC?

 

보통 검색 엔진에는 지문을 따로 주지 않아도 질문만 던지면 알아서 답을 내놓던데 어떻게 가능할까?

 

구글에 who is taeyeon을 검색하면 나오는 모습

 

 

 

질문이 들어오면 search engine에서 질문과 관련된 지문을 찾음

 

관련 지문을 찾으면 이로부터 질문에 대한 답변을 찾아 내놓음

 

구글이나 네이버에서 질문을 던지면 답을 내놓는 것이 이런 원리

 

 

 

 

1-2) 응용

 

핸드폰의 대화시스템도 질문을 던지면 시스템에서 저장된 대용량의 관련 지문을 찾아 지문에서 질문의 답을 찾은 뒤 답변을 내놓음

 

인공지능 스피커도 마찬가지

 

 

 

 

 

2. MRC 방법론

 

2-1) extractive answer dataset

 

질문에 대한 답이 반드시 주어진 지문의 segment나 span으로 주어짐

 

부분, 조각 이런 뜻인듯? 지문에 답이 부분적으로 반드시 주어진다는 의미?

 

cloze test는 질문에 중간의 단어를 X로 없애버리고 X에 들어갈 단어를 지문에서 찾는 문제

 

엄밀하게 말하면 질문 형태는 아니니까 Question and answering라고 보기는 어렵지

 

 

 

span extraction은 일반적으로 생각하는 지문에 대한 질문을 주고 지문에서 답을 찾는 문제

 

답이 지문에 명시적으로 주어짐

 

여기저기 찾아봤는데 token들의 모임이 span인것 같아 근데 단어들을 span이라고 생각하면 충분할듯..?

 

 

 

2-2) descriptive/narrative answer dataset

 

앞에서 extractive 방식은 질문에 대한 답변이 지문 내에 존재한다고 가정했지만 사실 답변이 존재하지 않는 경우도 많다

 

질문에 대한 답이 지문 내에서 추출한 span이 아닌 질의를 보고 생성된,

 

form이 자유로울 수 있는 free-form sentence로 주어지는 경우

 

 

 

명백히 저렇게 긴 정답이 지문에 있을리가 없다..

 

저렇게 긴 답변을 질문과 지문을 이해하여 직접 생성하는 task

 

 

2-3) multiple choice dataset

 

Question and answer model을 만드는데 적합하지 않아 최근에는 많이 쓰이지는 않음

 

질문이 주어질 때 가능한 여러개의 choice를 주고 choice 내에서 machine이 답을 고르는 문제

 

 

 

그림과 같이 질문이 질문과 가능한 여러 choice로 구성되어 있음

 

 

2-4) MRC dataset의 역사

 

2013년 MCTest를 MRC dataset의 시작으로 보는 경우가 대다수

 

MRC는 주어진 지문과 그것에 관련된 질문에 대해 답변하는 단순한 방식같지만 이것에 대한 응용가능성이 무궁무진

 

지문이 주어져있지 않아도 질문이 들어오면 웹상에서 질문과 관련된 지식을 찾아 답변을 줄 수있는 형태가 하나의 응용가능성

 

산업계나 research 연구자 등에서 중요성을 인식하여 매 해 지날수록 많은 dataset들이 만들어지고 공개됨