1. 일상 속의 통계적 가설검정 두 가설이 충돌하는 일은 비일비재하다. 흡연이 암과 무관하다는 가설과 원인이라는 가설은 지난 20세기 의학계 내부뿐만 아니라 법정까지 넘나들며 충돌한 큰 사건이었다. 대한민국 식품의약품안전처는 판매하는 모든 의약품을 심사한다. 어느 제약회사의 신약 A에 대한 식약처의 가설은 '약 A는 효과가 없다'이다. 제약회사는 효과가 있음을 증명해야한다. 법정에서도 마찬가지이다. 무죄 추정의 원칙에 따라 형사재판의 모든 피의자는 증명되기 전에는 죄가 없다. 검사는 유죄를 증명해야 한다. 무죄와 유죄 두 가설이 충돌한다. 중세 유럽 과학자들은 지구가 우주의 중심이라고 생각했다. 당시 누구도 의심하지 않았던 지구중심설은 지동설의 선구자인 코페르니쿠스와 '그래도 지구는 돈다'로 유명한 갈릴..
1. 여론조사의 비밀 한 여론조사에서 대통령 지지율이 39%로 나타났다. 표본 1000명 중 390명이 지지를 밝힌 셈이다. 그런데 이 숫자는 달라질 수 있는 값이다. 우연히 다른 시민이 여론조사 전화를 받았다면, 380명이나 400명이 지지한다고 답했을 수 있다. 이 여론조사에서 알아내려는 값은 진짜 대통령의 지지율이다. 실제로 정확히 알기란 불가능한 진짜 지지율은 모집단(전체 국민의 대통령 지지율)의 값이므로 모수라고 부른다. 여론조사에서 조사된 값이 '어떻게 얼마나 달라질 수 있었을까' 답을 구하려면 이 모수를 알면 정확히 알 수 있다. 모수 값이 정확히 얼마인지는 알 수 없지만, 어떤 값일 것이라고 가정할 수는 있다. 대통령의 진짜 지지율이 45%였다고 가정하자. 오늘을 무한히 다시 살며 여론조사..
1. 표본선정이 수반하는 불확실성 통계학의 데이터는 전체가 아닌 부분이다. 부분으로부터 결론을 내리기 때문에 언제나 불확실성을 수반한다. 여론조사는 전체 국민 중 일부를 무작위로 선정한다. 오늘 우연히 전화를 받아 여론조사에 응한 국민 1000명은 만약 오늘이 다시 시작되었다면, 전화를 받지 못하거나 전화가 오더라도 다른 일이 있어 응답하지 않을 수 있다. 통계에서 데이터는 이처럼 무한히 많은 하루하루의 서로 다를 수 있는 값 중 하나일 뿐이다. 우리가 가진 데이터는 우연의 산물이다. 그러니 우연한 값일 뿐인 데이터 그 자체보다 그 안에 숨어 있는 신호를 파악하는 것이 중요하다. 통계학에서는 전체를 모집단이라고 부른다. 영어로 하면 population, 인구 또는 모든 사람이라는 뜻이다. 그리고 이 모집..
1. 5000만명 중 638만 가구에서 애완동물을 키운다? 농림축산식품부는 '2020년 동물보호에 대한 국민 의식 조사'에서 전국 638만 가구에서 애완동물을 키운다고 발표했다. 이 조사는 638만 가구 모두에게 답을 들어 알 수 있었을까? 당연히 그렇지 않다. 국민 5000명을 대상으로 의견을 구한 표본조사이다. 이처럼 전체 인구에 대한 답을 일부 값으로부터 추론하는 방법이 통계학의 주요 관심사이다. 한 나라의 통계 지표나 기업의 데이터로부터 계산된 통계는 부분으로 전체를 설명하려는 노력의 일환인 경우가 많다. 그렇다면 5000명의 표본이 우리나라 전체 인구를 대표할 수 있을까? 이 표본에 '우연히' 애완동물을 키우는 사람이 많았다면 그 답을 신뢰할 수 있을까? 2. 표본 조사의 비밀 통계학자는 표본 ..
1. 차 마시는 여인 영국의 국민 음료는 단연 홍차이다. 20세기 초 영국의 로담스테드 농업연구소에서 일하던 생리학자 무리엘 브리스톨 박사도 홍차 애호가였다. 어느 날, 농업연구소 직원 중 하나인 로널드 피셔가 브리스톨 박사에게 홍차를 타서 권했다. 그녀는 거절했다. 잔에 차보다 우유를 먼저 따랐다는 것이 이유였다. 차를 먼저 따른 뒤에 우유를 따라야 진짜 영국식 홍차이다. 브리스톨의 주장이다. 피셔는 우유를 먼저 따르든 홍차를 먼저 따르든 맛에 차이가 있을 리 없다고 화를 냈고, 이 사달을 지켜보던 브리스톨 박사의 남편 윌리엄 로치는 작은 실험을 제안했다. 브리스톨 박사는 우유를 먼저 따른 홍차와 차를 먼저 따른 홍차를 정말 구별할 수 있을까? 로치의 실험은 다음과 같았다. 우유 - 차, 차 - 우유 ..
1. 석기시대 고인돌 가족 이야기 석기시대의 고인돌 가족에게 세상은 두려움 그 자체였다. 동굴에 사는 이 가족의 막내아들은 아침 해가 동굴 앞 작은 언덕 쪽에서 솟아오르는 모습을 발견한다. 내일도 언덕 쪽에서 해가 뜰까? 엄마는 해가 항상 동쪽에서 떠오른다고 말하지만 호기심 가득한 막내아들은 곧이곧대로 믿지 않는다. 막내아들은 이렇게 생각한다. 내일 해가 언덕 쪽에서 뜰지, 거꾸로 동굴 쪽에서 뜰지는 알 수 없다. 이튿날 막내아들은 해가 언덕 쪽에서 떠오르는 것을 보고 이렇게 생각한다. 어쩌면 해는 언덕 쪽에서만 떠오를지도 몰라. 다음 날도, 그 다음 날도, 해가 언덕 쪽에서 떠오르는 광경을 본 막내아들은 결국 엄마 말이 맞았다고 생각한다. 2. 베이즈의 정리를 이용한 기술 자연현상에 대한 막내아들의 무..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
