Machine reading comprehension metric 종류

모든 모델은 만들고나서 성능을 정확하게 평가하는 것이 중요함 1. exact match question에 대한 model이 prediction하여 내놓은 answer과 실제 dataset의 answer로 주어진 ground truth를 character level에서 비교하여  모든 character이 정확하게 일치할경우 1점을 주고 단 하나라도 일치하지 않으면 0점을 줌  모든 sample에 대해서 exact match score를 계산하여 정확히 일치한, 1점인 비율을 계산한 값이 exact match 예를 들어 prediction이 'for 5 days'와 ground truth '5 days'를 비교해보면 for이라는 글자가 일치하지 않으니 EM score=0  2. precision  predi..

• format_list_bulleted 딥러닝/Machine Reading Comprehension
• · 2024. 3. 2.
• textsms

pytorch에서 optimizer & metric 기본개념 재활

1. optimizer는 무엇일까 loss는 gradient를 발생시키지만 gradient로부터 parameter를 업데이트시키는 것이 optimizer 업데이트하는 방식에 따라 다른 특징을 보이며 다른 성능을 나타낸다. 어떤 것을 선택하느냐에 따라 수렴속도나 수렴의 안정성에 차이가 있을 수 있어 신중하게 선택할 필요가 있다 2. learning rate learning rate는 계산된 gradient로부터 parameter를 얼마나 업데이트시킬지 결정하는 요소중에 하나로 학습 중에 고정시켜 사용할 수 있지만 그렇게 한다면, 고차원의 함수를 학습하고자 하는 딥러닝에서는 global minimum을 못찾을 가능성이 높다 반면 학습 중에 learning rate를 변화시킬 수 있으면 유연하게 global ..

• format_list_bulleted 프로그래밍/Pytorch
• · 2023. 4. 26.
• textsms

유명한 model compression 논문 몇가지 미리보기

1. deep compression pruning과 quantization, huffman coding을 적절히 조합하여 model을 compression하는 기법을 소개 performance가 기존 모델과 비슷하면서도 압도적으로 parameter수를 줄였음 error는 기존 모델과 비슷한데 parameter수가 40배정도 감소시킨 당시 획기적인 논문 특정 모델에서 layer 단위에서도 compression시켜봄? 2. Once for all once-for-all network는 서로 다른 depth, width, resolution등을 가진 network의 조합 이런 network의 조합들을 서로 간섭없이 한번에 training하고 target device마다 적절한 sub network를 선정하여 ..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 6.
• textsms