16장 여론조사가 틀리는 이유

1. 여론조사의 비밀

 

한 여론조사에서 대통령 지지율이 39%로 나타났다.

 

표본 1000명 중 390명이 지지를 밝힌 셈이다. 

 

그런데 이 숫자는 달라질 수 있는 값이다. 

 

우연히 다른 시민이 여론조사 전화를 받았다면, 380명이나 400명이 지지한다고 답했을 수 있다.

 

이 여론조사에서 알아내려는 값은 진짜 대통령의 지지율이다.

 

실제로 정확히 알기란 불가능한 진짜 지지율은 모집단(전체 국민의 대통령 지지율)의 값이므로 모수라고 부른다.

 

여론조사에서 조사된 값이 '어떻게 얼마나 달라질 수 있었을까' 답을 구하려면 이 모수를 알면 정확히 알 수 있다.

 

모수 값이 정확히 얼마인지는 알 수 없지만, 어떤 값일 것이라고 가정할 수는 있다.

 

대통령의 진짜 지지율이 45%였다고 가정하자.

 

오늘을 무한히 다시 살며 여론조사를 한다면, 조사 결과가 어떻게 다르게 나올 수 있을까?

 

이 질문의 답을 찾는 좋은 방법 중 하나는 정말로 오늘을 다시 사는 것이다.

 

 

2. 신뢰구간

 

물론 컴퓨터를 이용해 가상으로 말이다.

 

이를 시뮬레이션 또는 모의실험이라고 한다.

 

컴퓨터로 가상의 시민 2000만 명을 정한다. 그 중 45%는 대통령을 지지한다.

 

오늘을 다시 사는 대신 실험을 반복하면서 조사 결과를 본다.

 

실험할 때마다 어떤 시민이 여론조사 표본에 뽑힐지 '랜덤'으로 정한다.

 

뽑힌 시민이 대통령을 지지할 확률은 모수 값인 45%이다.

 

이 실험을 100만번 반복한다면 그중 대략 95만번의 조사 결과는 42~48%정도 나온다.

 

이는 사실 진짜 지지율 45%에서 오차 3% 포인트를 더하고 뺀 값이다.

 

대통령의 진짜 지지율이 45%일 때, 여론 조사 결과는 [45% - 3%, 45% + 3%]로 달라질 수 있다는 뜻이다.

 

조사된 지지율은 39%였다.

 

대통령의 진짜 지지율이 45%라면 조사 결과 39%는 매우 드문, 발생하기 어려운 값이다.

 

그렇다면 대통령의 진짜 지지율이 45%일리 없다.

 

진짜 지지율은 여전히 모르는 값이지만 45%처럼 높을 수 없다는 뜻이다.

 

이제 다른 값을 생각해보자.

 

모수 값이 42%라고 가정하자. 

 

그러면 여론조사 결과는 39~45% 중 하나의 값이 될 수 있다.

 

찾았다. 조사된 39%가 포함된 범위이다.

 

 

 

 

 

 

이런 식으로 여러개의 진짜 지지율을 가정하면서 이 계산을 반복하면 관측된 여론조사 결과 39%는 진짜 지지율이

 

36~42%중 한 값일 때 나올 법한 결과이다.

 

'나올 법한'이란 100번 중 95번, 95%의 높은 확률을 말한다.

 

실제로는 알 수 없는 진짜 지지율이 나올 법한 범위 36~42% 또는 39%+-3%를 '신뢰구간'이라고 한다.

 

이 신뢰구간은 신뢰수준 95%에 해당한다.

 

따라서 여론조사에서 대통령 지지율이 39%라면 실제 대통령 지지율은 39+-3%일 것이라고 95% 신뢰한다는 뜻이다.

 

지금까지 이야기는 이상적인 여론조사 모델이다.

 

3. 편향

 

모든 것을 완벽하게 계획하고 실행한 여론조사조차 실제 대통령 지지율은 정확히 알 수 없다.

 

표본 오차 3%는 표본의 무작위성에 의한 불확실성의 양이다.

 

그러나 실제 여론조사에는 이뿐만 아니라 표본 선정의 '편향'으로 인한 불확실성이 존재한다.

 

많은 여론조사가 '무선 RDD 표본 프레임'에서 표본 추출을 한다고 밝히는데, 이는 전화번호 010-XXXX-XXXX에서

 

'X'에 해당하는 숫자를 무작위로 생성해 전화를 걸어 여론을 조사하는 방식이다.

 

핸드폰을 쓰지 않는 사람은 아예 모집단에서 제외된다.

 

이 여론조사에서는 전체 국민의 대통령 지지율이 아닌, 핸드폰을 사용하는 국민의 대통령 지지율을 추정한다.

 

이것이 편향이다.

 

더 심각한 편향은 응답하지 않는 국민이 특정한 성향을 띠는 경우이다.

 

예를 들어 선거 결과에 실망한 한 정당 지지자들이 여론조사 전화에 응하지 않는 경향이 다른 정당 지지자에 비해 높아도 편향이 발생한다.

 

편향은 측정하기도 어렵고 조정하기도 어렵다.