extraction based MRC 모델링 방법, 필수 용어 간단하게 알아보기

1. 정의 질문의 답변이 항상 주어진 지문 내 span으로 존재하는 경우 SQuAD, KorQuAD, NewsQA, Natural Questions 이런 가정을 할 수 있다면 정답 text를 생성하는 문제가 아니라 지문 내 정답 text의 위치를 찾는 문제로 바뀌어 편리해진다 2. dataset 각각의 데이터셋을 제작한 웹사이트에서 다운 받을 수도 있지만 편리성을 위해 HuggingFace 웹사이트에서 다운 받기도 가능 HuggingFace는 다운받기도 쉬우면서 다루기도 쉬운 format으로 되어 있음 3. 평가방법 1) Exact Match prediction과 ground truth가 정확하게 character level로 일치하는 경우만 1점 단 하나라도 틀리면 0점 2) F1 score 예측값과 ..

• format_list_bulleted 딥러닝/Machine Reading Comprehension
• · 2024. 3. 4.
• textsms

객체지향프로그래밍이란 4편 - method에 대한 모든것-

1. method 특정 데이터 클래스의 객체에 공통적으로 적용 가능한 행위인 함수 클래스 안에 있는 함수 method의 종류에는 instance, class, static method가 있다 대부분이 instance method에 해당함 instance method는 instance와 관련된 것을 처리하는, instance에 영향을 미치는 함수 class method는 class와 관련된 것을 처리하는 함수 static method는 instance도 아니고 class도 아닌 method. class나 instance와는 상관 없다 2. instance method instance 변수를 사용하거나 instance 변수에 값을 설정하는 메소드 클래스 내부에 정의되는 기본적인 method들은 instanc..

• format_list_bulleted 프로그래밍/Python
• · 2022. 7. 31.
• textsms

객체지향프로그래밍이란 3편 -class를 생성하는 방법과 attribute의 모든 것-

1. class를 생성하기 위한 기본 문법 1-1) 클래스 정의 class : or class (): class MyClass: pass class Myclass(): pass 1-2) 인스턴스 생성 my_instance = () 객체의 설계도인 class를 가지고 하나의 인스턴스 my_instance가 생성되는 my_instance = MyClass() 1-3) method 사용 .() my_instance.my_method() 1-4) 속성(attribute) 호출 . my_instance.my_attribute class만으로는 뭔가 할수는 없고 class를 통해 인스턴스를 만들어야 뭔가를 할 수 있어 1-5) 코드 예시 설계도 class인 Person에서 하나의 실체 person1 인스턴스를 생성..

• format_list_bulleted 프로그래밍/Python
• · 2022. 7. 30.
• textsms

dense embedding encoder modeling -개요와 학습방법-

1. overview 가지고 있는 passage를 BERTp라는 encoder에 넣어 hp라는 passage embedding을 가지고 있는 모든 passage에 대해 얻음 query는 BERTp와는 parameter가 다른 BERTq라는 encoder에 넣어 question embedding hq를 얻는다. 여기서 중요한 점은 hp와 hq는 size가 같아야한다. inner product score를 구하려면.. passage embedding과 query embedding을 얻으면 유사도를 계산할 수 있다. 일반적인 방식은 dot product로 유사도에 대한 scalar value를 얻는다. 질문은 하나고, passage는 여러개니까 하나의 질문 embedding인 hq에 대해 모든 hp와의 유사도..

• format_list_bulleted 딥러닝/Machine Reading Comprehension
• · 2022. 5. 26.
• textsms