Machine reading comprehension metric 종류

모든 모델은 만들고나서 성능을 정확하게 평가하는 것이 중요함 1. exact match question에 대한 model이 prediction하여 내놓은 answer과 실제 dataset의 answer로 주어진 ground truth를 character level에서 비교하여  모든 character이 정확하게 일치할경우 1점을 주고 단 하나라도 일치하지 않으면 0점을 줌  모든 sample에 대해서 exact match score를 계산하여 정확히 일치한, 1점인 비율을 계산한 값이 exact match 예를 들어 prediction이 'for 5 days'와 ground truth '5 days'를 비교해보면 for이라는 글자가 일치하지 않으니 EM score=0  2. precision  predi..

• format_list_bulleted 딥러닝/Machine Reading Comprehension
• · 2024. 3. 2.
• textsms

조건부확률과 베이즈정리 이론 간단하게

1. 조건부확률 P(A|B)는 사건 B가 일어난 상황에서 사건 A가 발생할 확률 P(A∩B)=P(B)P(A|B) 2. 조건부확률 시각화 민감도, 특이도, 정밀도,재현율, F1score를 구분함 그림의 정밀도가 정확도 귀무가설 H0 :음성, 대립가설 H1 :양성 실제로 걸리진 않았는데(귀무가설이 참) 걸렸다고 검진(귀무가설 기각)한 경우 False positive는 1종오류 실제로 걸렸는데(대립가설이 참) 검진하지 못한(대립가설 기각) 경우 False Negative는 2종오류 보통 정확도는 False Positive가 커질 경우 떨어진다(식만 봐도 알 수 있음) 보통 1종오류보다 2종오류가 심각하여, 1종오류를 조금 희생하더라도 2종오류를 줄이려고 한다 위에 1종,2종오류 의미만 보더라도 실제로 걸렸는데..

• format_list_bulleted 다시보는 통계학
• · 2024. 1. 4.
• textsms

데이터 시험 단골손님인 혼동행렬(confusion matrix) 민감도 특이도 완전정복

1. 혼동행렬 완성 ⓐ예측을 기준으로 예측의 P, N을 그대로 쓴 다음에 ⓑ예측 = 실제이면 T를 붙이고 예측 != 실제이면 F를 붙인다 2. 민감도 특이도 정밀도 재현율 실제를 기준으로 묶어서 민감도와 특이도 민감도 = 재현율 대칭방향으로 정밀도 민감도 = $\frac{TP}{TP+FN}$ = 재현율 특이도 = $\frac{TN}{FP+TN}$ 정밀도 = $\frac{TP}{TP+FP}$ 3. F1 score 재현율과 정밀도의 조화평균 조화평균이란? 역수의 산술평균의 역수 $$F1 = \frac{1}{\frac{\frac{1}{재현율} + \frac{1}{정밀도}}{2}} = \frac{2 \times 재현율 \times 정밀도}{재현율+정밀도}$$ 4. TPR, FPR??? 1에서 그린 혼동핼렬 표를..

• format_list_bulleted 다시보는 통계학
• · 2022. 1. 29.
• textsms