19장 잘못된 선택에 대하여

1. 통계적 가설검정의 딜레마

 

통계적 가설검정은 배신해야 하는 운명에 놓인 숙제 같다.

 

통계적 가설검정이 품은 문제를 간단히 표현하면 두 정규분포 중 하나를 고르는 문제와 같다.

 

확실하지 않은 상황에서 둘 중 하나를 골라야 하는 딜레마라고 할까

 

정규분포는 평균과 표준편차만으로 그 분포를 알 수 있다.

 

확률 이론에 따르면 정규분포에서 무작위로 뽑힌 관측값은 평균에서 표준편차의 2배 이내에 있다고 95% 확신할 수 있다.

 

평균이 0이고 표준편차가 1이라면 -2 ~+2 사이에서 관측될 것이다.

 

만약 평균이 2, 표준편차가 1이라면 0과 4 사이에 이 관측값이 있을 것이다.

 

물론 95% 확률로 그렇다는 말이다.

 

가설검정의 문제는 다음과 같다. 어떤 값을 관측했다. 이 값이 0.5라고 치자.

 

이 값은 어떤 분포에서 랜덤하게 뽑힌 것일까?

 

가설1: 관측값 0.5는 평균이 0이고 표준편차가 1인 정규분포에서 생성되었다.

 

가설2: 관측값 0.5는 평균이 2이고 표준편차가 1인 정규분포에서 생성되었다.

 

두 가설과 관측값을 다음 그래프로 표현했다.

 

어떤 가설을 선택하든 관측값 0.5는 충분히 나올 법한 값이다.

 

 

 

 

통계적 가설검정이 딜레마인 이유가 여기에 있다.

 

어떤 선택을 하든 잘못된 선택일 가능성이 있다.

 

통계적 가설검정에서는 두 가설 중 하나를 귀무가설로 정한다.

 

이를테면 가설 1이 귀무가설이면 가설 2는 대립가설이다.

 

가설검정의 형식 논리는 간단하다. 귀무가설을 선택하거나, 대립가설을 선택하거나.

 

어떤 가설을 선택할 것인가?

 

기준을 정해 선택한다. 예를 들어 관측값이 귀무가설의 평균 0에 더 가깝다면 귀무가설을 선택하고, 그렇지 않을 때 대립가설을 채택하는 따위의 기준이다.

 

관측값이 0.5일때는 귀무가설을 선택한다.

 

2. 통계적 가설검정의 오류

 

이 선택이 맞을 수도 있지만, 틀릴 수도 있다.

 

틀린 선택을 했을 때 가설검정의 오류가 발생한다. 두가지 오류가 있다.

 

1) 귀무가설이 사실인데, 대립가설을 선택하는 오류

2) 대립가설이 사실인데, 귀무가설을 선택하는 오류

 

좋은 가설검정의 방법은 오류 발생률이 낮은 것이다.

 

그런데 두 가지 오류는 동시에 발생할 수 없다. 

 

대립가설을 선택했다면 첫 번째 오류가 발생할 수 있다. 

 

그러나 귀무가설을 선택하지 않아 두 번째 오류는 일어날 수 없다.

 

마찬가지로 귀무가설을 선택했다면 첫 번째 오류는 발생하지 않고, 두 번째 오류만이 가능하다.

 

한 번의 가설검정을 할 때 우리는 두 오류 중 하나의 오류를 범하거나 오류 없이 정확한 선택을 하게 된다.

 

가설검정을 할 때 오류를 범할지 아닐지는 랜덤한 관측값에 달려 있다.

 

이 관측값은 새롭게 관측할때마다 달라진다.

 

그래서 가설검정의 오류를 논할 때는 오류의 발생률을 염두에 두어야 한다.

 

3. 트레이드오프

 

두 오류의 발생은 '하나를 얻으려면 다른 하나를 희생해야 하는' 트레이드 오프 관계에 있다.

 

 

 

 

 

위 그래프처럼 첫번째 오류를 줄이려면 두번째 오류가 더 자주 발생한다.

 

첫번째 오류의 발생을 방지하기는 매우 쉽다.

 

대립가설을 선택해야 오류가 발생하므로 선택하지 않는 방법이다. 항상 귀무가설을 선택한다.

 

첫번째 오류의 발생률은 0%이다.

 

그러나 이 방법은 대립가설이 사실일때에도 귀무가설을 선택하므로, 두번째 오류의 발생률은 100%이다.

 

반대로 두번째 오류를 줄이면 첫번째 오류가 더 자주 발생한다.

 

두 오류 발생의 트레이드오프를 중재해줄 심판이 필요하다.

 

그런데 딱히 마땅한 것이 없다.

 

첫번째 오류와 두번째 오류는 서로 다른 '차원'의 오류여서 심판을 찾기가 어렵다.

 

첫번째 오류는 귀무가설이 사실인 세상에서만 발생하고, 두번째 오류는 대립가설이 사실인 세상에서만 발생한다.

 

두 세상 중 한곳에 우리가 사는 것은 분명한데 이를 중재하기란 매우 어렵다.

 

4. 새로운 가설을 신중하게 선택해야한다

 

통계적 가설검정 논리의 창시자인 폴란드 태생의 통계학자 예르지 네이만과 영국의 통계학자 이곤 피어슨은 두 오류 중 어떤 오류가 더 충격이 큰지 주목했다.

 

귀무가설은 기존의 믿음이다.

 

예를 들면 지구가 우주의 중심이라는 천동설이 귀무가설이다.

 

대립가설은 아직 검증되지 않은 가설이다.

 

지구가 태양 주위를 돈다는 지동설이 대립가설이다.

 

대립가설인 지동설을 선택했는데, 사실은 지구가 우주의 중심이었다면 잘못된 선택으로 인한 혼란은 매우 클 것이다.

 

지동설, 즉 첫 번째 오류의 충격은 매우 크다.

 

반대로 귀무가설인 천동설을 잘못 선택했다면?

 

이미 수천년 동안 천동설을 믿고도 잘 살았으므로 두번째 오류의 충격은 미미하다.

 

네이만과 피어슨은 첫번째 오류의 발생률만을 제어하는 일종의 타협안을 내놓았다.

 

통계적 가설검정에서는 그래서 첫번째 오류 발생률이 미리 정한 값(예를 들어 5%)을 넘지 않도록 기준을 정한다.

 

첫번째 오류의 발생률을 통제하는 기준(5%일 수도 있고 1%일 수도 있다)을 가설검정의 유의수준이라고 부른다.

 

이 타협안에 의하면 좋은 가설검정 방법은 첫번째 오류 발생률이 5%를 넘지 않으면 두 번째 오류 발생률도 낮은 방법이다.