precision과 accuracy 개념 간단하게

precision은 정답과는 무관하게 데이터들끼리 얼마나 같은 경향을 나타내는가 데이터들끼리 얼마나 멀리 분포하는지, 얼마나 좁게 분포하는지 variance에 관한 이야기  accuracy는 분포하는 경향과는 무관하게 데이터 하나하나가 정답을 맞췄는지 아닌지 bias에 관한 이야기    빨간 점이 정답과는 상관없이 비슷한 경향, 가깝게 뭉쳐있으면 precision이 높다고함 반면 accuracy는 정답인지 아닌지를 판단함    2번과 4번을 보면 정답에 있더라도 뭉쳐있지 않은 2번은 precision이 떨어지고 4번은 precision이 높음 3번과 4번을 보면 정답이 아니더라도 뭉쳐있는 둘은 precision이 높음

• format_list_bulleted 딥러닝 기초
• · 2024. 8. 21.
• textsms

network quantization 간단하게

1. motivation 일반적으로 float32로 network 연산과정이 표현되나 그것보다 작은 크기의 데이터 타입인 float16 half precision이나 int8 fixed point로 mapping하여 연산을 수행하는 것  2. 예시   1번처럼 float32의 matrix들을 int8로 quantization mapping하여 표현을함 matrix를 계산한 결과가 2번임 2번을 다시 float32로 dequantization하면 3번이 됨 실제 quantization하지 않고 계산한 4번과 비교하면 어느정도 오차가 있는데 이것을 quantization error라고 부름 경험적으로 quantization error에 대해 robust하게 network가 잘 작동한다는 사실이 알려져서 보편..

• format_list_bulleted light weight modeling
• · 2024. 8. 16.
• textsms

문장 생성의 성능평가 지표2 - bleu score

1. precision과 recall의 문제점 정답문장에 대해 2개의 모델로 예측문장을 얻었다고 해보자.   두번째 모델로 만든 문장의 경우 모든 단어가 정답문장 단어와 매칭이 되는데 순서가 전혀 맞지 않는다는 것이 문제다.  그럼에도 불구하고 precision과 recall은 100% 때로는 언어에서 순서는 매우 중요한데 단어만 맞췄다고 완벽한 번역이라고 볼수있을까? precision과 recall, f-measure는 계산방식으로부터 알 수 있겠지만  오직 부합하는 단어의 수에만 집중하기 때문에 순서정보를 전혀 반영하지 않는다는 것이 문제다.  2. introduction  bleu score는 순서를 반영하지 않는다는 precision과 recall의 문제점을 개..

• format_list_bulleted NLP
• · 2024. 4. 24.
• textsms

문장 생성의 성능평가 지표1 - precision and recall, F-score

1. precision and recall translation 후에 생성된 문장이 정확한지 평가할 필요가 있다. 기본적으로 단어를 생성하는 방법은 target 각 단어별 실제 정답과의 softmax loss가 최소화되게 만든다. test data에 대해서도 예측된 단어와 정답인 단어의 softmax loss로 분류 정확도를 계산한다. 이런 논리에 기반하여 정답문장과 예측문장사이 각 단어별 matching count로 정확도를 평가하는 방법을 생각할 수 있다. I love you라는 정답문장을 출력해야하는데 oh I love you를 출력했다고한다면 각 matching count=0이니까 정확도는 0%이다. 그런데 크게 떨어지는 번역품질이라고 보기 어렵다 나쁘지 않은 번역.. 그러니까 0%라고 보기 어렵..

• format_list_bulleted NLP
• · 2024. 4. 24.
• textsms

Machine reading comprehension metric 종류

모든 모델은 만들고나서 성능을 정확하게 평가하는 것이 중요함 1. exact match question에 대한 model이 prediction하여 내놓은 answer과 실제 dataset의 answer로 주어진 ground truth를 character level에서 비교하여  모든 character이 정확하게 일치할경우 1점을 주고 단 하나라도 일치하지 않으면 0점을 줌  모든 sample에 대해서 exact match score를 계산하여 정확히 일치한, 1점인 비율을 계산한 값이 exact match 예를 들어 prediction이 'for 5 days'와 ground truth '5 days'를 비교해보면 for이라는 글자가 일치하지 않으니 EM score=0  2. precision  predi..

• format_list_bulleted Machine Reading Comprehension
• · 2024. 3. 2.
• textsms

C++ 알고리즘 기초4 - 소수점 자리 맞춰 출력하기, 변수 값 변경하기

1. 소수점 맞춰 출력 실수값을 갖는 변수는 소수점 자리를 맞춰 출력하는 경우가 대부분 cout

• format_list_bulleted C++ 기초
• · 2023. 5. 10.
• textsms