추정량의 오차는 왜 추정량의 표준편차일까?

참값 $S$의 추정량 $\hat{S}$이 아주 좋은 성질로 $E(\hat{S})=S$을 만족한다면 불편추정량(unbiased estimator)이라고 한다.

 

참값과 추정값 사이에는 분명한 차이가 있는데 이것을 오차(error)라고 한다.

 

$$e={\hat{S}}-S$$

 

많은 경우에 참값은 알 수 없는 값이니까 $e={\hat{S}}-S$를 구하는 것은 불가능하다.

 

사실 $\hat{S}$이 표본추출에 의해 랜덤하니까 $e={\hat{S}}-S$도 랜덤한 확률변수이므로

 

어느 정도 나오리라는 기댓값 정도는 구할 수 있다

 

오차 제곱의 기댓값 $E((\hat{(S} -S) ^{2} )$을 Mean square for error, 그 유명한 MSE이다.

 

이것을 최소로 하는 추정량 $\hat{S}$을 선택하는 것이 좋은 추정이다.

 

그런데 $\hat{S}$이 불편추정량(unbiased estimator) $E(\hat{S})=S$이므로

 

$E((\hat{(S} -S) ^{2} )$에 대입하면 $E((\hat{(S} -E(\hat{S})) ^{2} )$인데 $\hat{S}$의 편차 제곱의 기댓값이므로 분산 $Var(\hat{S})$와 같다

 

이런 의미에서 불편추정량의 오차 $E((\hat{(S} -E(\hat{S})) ^{2} )$로

 

$\hat{S}$의 표준편차를 구하면 된다

 

그래서 추정량의 표준편차는 표준오차라고 부른다(standard error)