정보이론의 기초1 -정보량이란?-

1. 정보이론의 핵심 아이디어 잘 일어나지 않는 사건은 자주 발생하는 사건보다 정보량이 많다. 예를 들어보면 ‘아침에 해가 뜬다’는 정보는 누군가에게 알려줄 필요가 없을 정도로 정보 가치가 없다. 그렇지만 ‘오늘은 4시에 피어세션을 시작한다.’는 정보는 꼭 알아야한다는 측면에서 정보량이 많다고 말할 수 있다. 기본적으로 자주 발생하는 사건은 낮은 정보량을 가진다. 100퍼센트 발생이 보장된 사건은 내용에 무관하게 전혀 정보가 없다 덜 자주 발생하는 사건은 더 높은 정보량을 가진다 독립인 사건은 추가적인 정보량을 가진다. 동전을 던져 앞면이 두 번 나오는 사건에 대한 정보량은 동전을 던져 앞면이 한번 나오는 사건보다 정보량이 두배 많다 2. Shannon의 self information 확률변수 M이 어떤..

• format_list_bulleted 정보이론
• · 2021. 10. 8.
• textsms

p-value에 대한 오해

1. 문제 제기 빅데이터분석기사, ADsP를 공부하면서 p-value에 대한 정의가 이상한 것 같아서 이번 기회에 정리를 해볼려고 한다. 2. p-value에 대한 오해 2-1) p-value가 관측된 검정통계량이 귀무가설을 지지하는 방향으로 관찰될 확률? 2-2) p-value는 제1종오류를 일으킬 확률? 3. p-value의 정의 위키피디아에서 ‘In null hypothesis significance testing, the p-value is the probability of obtaining test results at least as extreme as the results actually observed, under the assumption that the null hypothesis is ..

• format_list_bulleted 다시보는 통계학
• · 2021. 10. 6.
• textsms

머신러닝 모델에서의 bias와 variance에 대하여

1. 문제 제기 variance가 높으면 안좋다는 느낌? 이미지?인데 high variance가 overfitting이고 high bias가 underfitting이라는 것이 매칭이 잘 안된다. 2. bias에 대하여 위키피디아에서 ‘bias error는 learning 알고리즘에서 잘못된 가정으로부터 나온 error이다. high bias는 알고리즘이 feature와 target output 사이 관련있는 관계를 놓치도록 만든다. 이것을 underfitting이라고 한다 quora에서 어떤 사람의 답변을 보면 ‘bias는 training data로부터 머신러닝 모델이 학습하는 능력을 평가하는 metric이다. 그래서 high bias를 가진 모델은 training data나 test data 모두에 잘..

• format_list_bulleted 다시보는 통계학
• · 2021. 10. 6.
• textsms

결정계수에 대한 오해

1. 결정계수에 대한 오해 결정계수(coefficient of determination) $R^2$은 많은 교재에서나 제곱이라는 그 모습 $R^2$때문에 0이상 1이하라고 오해하기 쉬운데 사실 결정계수는 음수일 수 있다  2. 제곱합모든 독립변수 x에 대하여 종속변수 y를 가집니다. 가장 적합한 회귀직선을 그려 x의 값에 대하여 y의 값을 예측하고자 합니다. 2-1) 잔차제곱합 y의 예측값을 $\hat{y}$ 이라고 한다면 회귀직선이 예측한 값과 실제 y값의 차이를 이용해 error를 계산할 수 있습니다. 이러한 차이 error를 제곱하여 더한 것을 잔차제곱합이라 부르고 보통 SSE라고 표현합니다. $$SSE = \sum (y-\hat{y})^2$$ 2-2) 전체제곱합 다음으로 실제 y의 평균값을 계산할..

• format_list_bulleted 다시보는 통계학
• · 2021. 10. 4.
• textsms