21장 통계적으로 의미있는 차이와 실제로 의미있는 차이

1. 고등학교에 신설된 도서관

 

어느 도시의 교육청에서 고등학생들의 문해력을 향상하기 위해 몇몇 학교를 선별해 도서관을 새로 지었다.

 

이 정책의 효과는 얼마나 될까?

 

몇년 후 도서관을 신설한 고등학교 재학생 100명을 선별해 지난 1년 동안 교과서나 참고서 말고 읽은 책 수를 조사했다.

 

아이들의 평균 독서량은 무려 34권이었다.

 

도서관을 신설한 효과가 정말 큰 것인가? 쉽게 단정할 수 없다. 비교를 해야한다.

 

도서관을 새로 짓지 않은 다른 고등학교의 학생들을 조사했더니 평균 독서량은 34.4권이었다.

 

도서관이 신설된 학교 학생들의 독서량이 오히려 적은 것이었다.

 

이제 정반대의 질문을 할 차례이다.

 

신설된 도서관이 독서에 방해가 되는가? 이번에도 역시 쉽게 단정할 수 없다.

 

조사 결과의 우연성을 고려하면 두 독서량이 다르다고 볼 수 없다.

 

우연히 선정된 고등학생 100명 말고 다른 100명을 조사했다면 평균 35~36권이라는 답을 얻었을 가능성이 있다.

 

반대로 더 적은 33권이었을 수도 있다.

 

이 도시의 교육감은 신설된 도서관이 독서량을 늘릴 것이라고 굳게 믿고 있다.

 

전수조사에 가까운 대규모 조사를 주문한다. 

 

이번에는 도서관을 신설한 모든 고등학교의 학생 1만명을 조사했는데, 평균 독서량은 34.7권이다.

 

95%신뢰수준의 신뢰구간은 34.5~34.9권이다. 

 

전국 고등학생들의 평균 독서량 34.4권보다 신뢰구간의 가장 작은 값이 더 크다.

 

도서관 신설 효과가 "통계적으로 유의하다"고 말할 수 있다.

 

2. 실제로 의미있는 차이

 

일반적으로 "통계적으로 다르지 않다"는 말은 결과의 우연성이나 랜덤성을 고려할 때, 우연히 다른 것처럼 보일 개연성이 높다는 뜻이다.

 

"통계적으로 다르다" 또는 "다름이 통계적으로 유의하다"는 말은 반대로 우연히 다른 것처럼 보일 개연성이 어떤 기준에 비해 낮다는 뜻이다.

 

그렇다면 통계와 확률이 도서관 신설효과가 있다고 보장하는 것일까?

 

몇억 원이나 들여 도서관을 신설한 교육감의 정책이 딱 잘라서 성공했다고 말하기는 어렵다.

 

도서관을 신설했더니 독서량이 늘었다.

 

통계적으로 확인된 사실이다.

 

그런데 평균 독서량은 고작 0.3권 늘었을 뿐이다. 이 정도 차이는 실제로는 의미 없다.

 

통계적으로 유의하지만, 실제로는 '유의'하지 않다.

 

 

3. 통계적으로 유의하게 만드는 방법

 

통계적 유의성을 밝히는 것은 어떤 면에서는 쉽다. 

 

큰 수의 법칙에 의해 표본 수를 늘리면 늘릴수록 신뢰구간의 크기는 작아진다.

 

표본 수를 충분히 늘릴 수만 있다면 아무리 작은 차이라도 '통계적으로' 유의한 차이로 만들 수 있는 것이다.

 

다만 통계적으로 유의한 작은 차이가 실제로는 아무 의미 없는 차이일 수 있다. 양날의 검이다.

 

통계는 도구이다. 도구가 제시하는 객관적 사실이 실체적 진실을 가릴 수는 없다.