추정량의 오차는 왜 추정량의 표준편차일까?

참값 $S$의 추정량 $\hat{S}$이 아주 좋은 성질로 $E(\hat{S})=S$을 만족한다면 불편추정량(unbiased estimator)이라고 한다. 참값과 추정값 사이에는 분명한 차이가 있는데 이것을 오차(error)라고 한다. $$e={\hat{S}}-S$$ 많은 경우에 참값은 알 수 없는 값이니까 $e={\hat{S}}-S$를 구하는 것은 불가능하다. 사실 $\hat{S}$이 표본추출에 의해 랜덤하니까 $e={\hat{S}}-S$도 랜덤한 확률변수이므로 어느 정도 나오리라는 기댓값 정도는 구할 수 있다 오차 제곱의 기댓값 $E((\hat{(S} -S) ^{2} )$을 Mean square for error, 그 유명한 MSE이다. 이것을 최소로 하는 추정량 $\hat{S}$을 선택하는 것이 ..

• format_list_bulleted 다시보는 통계학
• · 2022. 6. 1.
• textsms

표집분포(sampling distribution)와 표본분포(sample distribution)

1. 모집단이란?(population) 연구자가 관심있어하는 주제를 모두 나타낼 수 있는 개인이나 어떤 값의 전체 모임 대한민국 사람들의 평균키를 조사하고 싶을 때? 전체 대한민국 사람들이 모두 대상이 되는데 이것이 population distribution ----------------------------------------------------------------------------------------------------------- 모집단은 생각보다 미묘한 개념일 수 있다 어떤 표본을 추출할 수 있는 모집단에는 3가지 유형이 있다 1) 말 그대로의 모집단: 한 예로 여론조사에서 무작위로 한 명을 뽑는, 확인 가능한 집단이 있다. 관측 가능한 개인들로 구성된 집단도 여기에 해당한다. 실제로..

• format_list_bulleted 다시보는 통계학
• · 2022. 2. 21.
• textsms

빅데이터분석기사 3회 대비 실전 벼락치기

1. 정렬하기 data.sort_values( by = (정렬기준이 되는 칼럼) , ascending =True/False) ascending =True이면 오름차순 정렬이고 ascending = False이면 내림차순 정렬 2. series는 대응하는 원소끼리 수학적 계산이 가능 단, 인덱스가 맞지 않으면 계산이 이상해질 수 있음 3. 통계량계산 data.mean() , data.median(), data.sum(), data.count(), data.std(), data.var(), .... 최빈값은 scipy 모듈을 이용해서 구할 수 있음 from scipy.stats import mode mode_data = mode(data) 4. 결측치 찾기 data.isnull().sum()을 통해 결측치가..

• format_list_bulleted Python
• · 2021. 12. 4.
• textsms

확률(probability)과 가능도(likelihood)는 어떻게 다를까?

1. 통계학에서 말하는 확률이란? 다음과 같은 3가지 공리(axiom)를 만족하는 것을 공리적 확률(probability)이라고 한다. 확률이 가져야한다고 생각하는 가장 기본적인 3가지 성질로 증명없이 받아들인다. 1) 임의의 사건 $A \subset \Omega$에 대하여 $P(A) \geq 0$ 2) 가능한 전체 경우의 수를 포함하는 집합 $\Omega$에 대하여 $P(\Omega)=1$ 3) 배반사건열 $A _{1},A _{2},A _{3},...$에 대하여 $P( \bigcup A _{i} )= \sum _{i=1} ^{\infty } P(A _{i} )$ 쉽게 말해 결국 확률은 사건 $A$를 $0 \leq P(A) \leq 1$을 만족시키는 실수집합으로 대응시키는 함수이다. 2.확률밀도함수와 확..

• format_list_bulleted 다시보는 통계학
• · 2021. 11. 18.
• textsms

결정계수에 대한 오해

1. 결정계수에 대한 오해 결정계수(coefficient of determination) $R^2$은 많은 교재에서나 제곱이라는 그 모습 $R^2$때문에 0이상 1이하라고 오해하기 쉬운데 사실 결정계수는 음수일 수 있다  2. 제곱합모든 독립변수 x에 대하여 종속변수 y를 가집니다. 가장 적합한 회귀직선을 그려 x의 값에 대하여 y의 값을 예측하고자 합니다. 2-1) 잔차제곱합 y의 예측값을 $\hat{y}$ 이라고 한다면 회귀직선이 예측한 값과 실제 y값의 차이를 이용해 error를 계산할 수 있습니다. 이러한 차이 error를 제곱하여 더한 것을 잔차제곱합이라 부르고 보통 SSE라고 표현합니다.  $$SSE = \sum (y-\hat{y})^2$$  2-2) 전체제곱합 다음으로 실제 y의 평균값을 계산할..

• format_list_bulleted 다시보는 통계학
• · 2021. 10. 4.
• textsms