통제와 관련해서 스텔라 컨리프의 이야기들이 있다. 그녀가 기네스 맥주 공장에서 근무할 때 사례이다.

누구나 특정 숫자나 글자 그리고 색깔에 대한 편견을 가지고 있고, 어느 정도는 미신적인 것을 믿습니다. 맥주의 최적 보관온도를 결정하는 실험에서 실험 대상자는 온도가 다른 방에서 온도가 다른 맥주를 마셔야 했습니다. 맥주의 온도를 구별할 수 있도록 온도에 따라 다른 색깔의 병마개로 봉인하였습니다. 하지만 이 실험에서 얻은 결과는 실험대상자들이 맥주의 맛보다는 병마개 색깔에 더 영향을 받는다는 것이었습니다. 실험대상자들은 노란색 병마개를 싫어했습니다.

사실은 기초적인 이야기이고 당연하다고 생각하겠지만 숫자에만 빠져서 통제가 제대로 이루어지는지 고려하지 않는 경우가 많다. 점점 복잡하고 어려운 통계들을 사용하지만 오히려 기본적인 것을 지키는게 중요한 것 아닌지 생각해보게 된다. 수치를 보고 왜 그렇게 나왔는지 생각해보아야 한다.

남자 제소자의 선고형량과 석방 후 2년 내 재범률을 분석한 연구는 명백히 선고형량이 적을수록 재범률이 높다는 것을 보여주었다. 하지만 원자료를 자세히 조사한 결과 형량이 3개월이 안 되는 제소자들에게서 연관성이 강하게 나타난다는 것을 알아냈다 … 무거운 형량이 재범률을 낮추는 효과가 있다는 증거는 형량이 10년 이상의 장기 재소자들의 재범률이 15퍼센트 이하라는 것이었다. 이 결과에는 연령이라는 중요한 요인이 관련되어 있는데 사기나 위조범죄를 저지른 사람들은 주로 무거운 형을 받는데, 그들이 출소할 즈음엔 나이가 들어 또 다른 범죄를 저지르기 어렵다.

지금 읽고 있는 책에서 통계에서 사용되는 p value가 유의적이라고 할 때의 의미에 대해 언급한 부분이 있다. 피셔는 유의성 검정을 잘못 사용하는 사람들에 대해 다음과 같이 비판했다고 한다.

유의성 검정은 우리가 연구하거나 찾고자 하는 원인이 아니라 우리가 통제할 수 없는 여러 환경적 요인들에 의해 우연히 일어난 것에 현혹되지 않게 도와준다 …… 20번에 한 번 정도 우연히 일어나는 결과를 유의적이라고 하는 것이 통상적인 관례다. 그렇다고 실험을 20번 할 때마다 한 번은 현혹 당하겠다는 것을 의미하지는 않는다. 유의성 검정은 어떤 것을 무시할 것인가를 알려준다. 말하자면 유의적인 결과가 나오지 않은 실험은 무시해도 좋다는 것이다. 연구자는 유의적인 결과가 나오도록 실험을 설계할 수 있을 때만 자기가 보여주고자 하는 것을 실험으로 보여주었다고 주장할 수 있다. 따라서 유의적인 결과라 하더라도 같은 결과가 다시 나오도록 할 수 없다면 이 결과는 더 연구해야 하는 미결 상태인 것이다.

유의성 검정에 대한 이야기를 읽고 나니 이론에 대한 몇 가지 이야기들에 대해 다시 생각해보게 되었다.

The point of theorizing, when viewed as a cognitive process, is not simply to produce validated knowledge, but, rather, to suggest plausible connections and relationships that have not yet been glimpsed.¹

비슷한 이야기로 Karl Weicek도 좋은 이론이란 그럴법한 이론이라는 말을 한다.

A good theory is a plausible theory, and a theory is judged to be more plausible and of higher quality if it is interesting rather than obvious, irrelevant or absurd, obvious in novel ways, a source of unexpected connections, high in narrative rationality, aesthetically pleasing, or correspondent with presumed realities.²

결국에는 타당한 것 같은, 이치에 맞는, 그럴듯한 이야기를 하는 것이 가장 기본이라는 생각이 든다.

통계는 고등학교 정석에도 당연히 포함되어 있으니 수능 공부를 경험한 사람 치고 모르는 사람은 없겠지만 수능에서 비중이 얼마 크지 않아 포기하는 부분이기도 하다(적어도 나때는 그랬다). 많은 친구들이 봐야 할 분량은 많은데 비해 나오는 문제는 한 문제 정도였던 통계를 포기했다. 나는 포기하지는 않았던 것 같은데 열심히 보지는 않아서 그런지 전혀 기억이 나지 않았다.

대학교 가서도 통계를 공부해야겠다는 생각은 전혀 가지지 않았다. 기껏해야 필수 과목으로 포함되어 있는 조사방법론 수업을 하나 들었을 뿐이었다. 그것도 어렵다는 소문이 자자해서 많은 친구들이 계절학기로 짧게 수강하는걸 권했다. 덕분에 나도 계절학기로 수업을 듣기는 했다.

이상하게 수업을 들으면서도 거의 이해를 하지 못해서 그냥 적당히 공식을 외웠던 것 같은 기억이 난다. 그럼에도 A+를 받았다는 사실이 신기하기는 하지만 말이다. 대학원에 가서도 어쩐지 통계란 전혀 이해할 수 없는 것처럼 느껴졌는데 석사 때 통계를 잘 가르치지 않는 편이기도 했고 듣는 수업 대부분이 통계를 다룬 논문은 보지를 않았기 때문이기도 했다.

완전히 무지했던 걸 생각하면 지금은 기초적인 통계는 아는 편이라고 생각하지만 개념적으로 여전히 잘 이해되지 않는 부분들이 있다. 그래서 통계학의 역사와 관련된 책들을 몇 권 읽어보기로 했다. 우선 통계학의 피카소는 누구일까?를 먼저 보려고 했으나 현재 절판된 상태이다. 익숙한 기본적인 개념들에 대한 내용들을 접할 수 있는 것 같다. 조금 두꺼워서 부담스럽지만 통계학의 역사라는 책도 괜찮은 것 같다. 부담스럽다면 역자가 쓴 서문만 읽어보다고 개략적인 흐름을 파악하는데 도움이 된다.

통계사는 아니라 통계일반과 관련된 책으로 숫자에 속아 위험한 선택을 하는 사람들이라는 책도 있다. 상당히 재미있을 것 같은데 아직까지 구입하고 읽지 못했다.

통계에 관련된 책을 읽을 때마다 많이 부족하다는 생각이 든다. 기본적으로 내가 공부했던 환경이 수학적인 측정과 표현에 대해 거부감을 드러내는 사람들이 많았기 때문이기도 한 것 같다. John Arbuthnot¹은 다음과 같이 말했다고 한다.

우리가 알고 있는 것들 가운데 수학적 추론으로 환원될 수 없는 것은 거의 없다. 만약 그러한 것이 있다면 이는 그에 대해 우리가 지극히 적고 혼란스럽게 알고 있다는 표시일 뿐이다. – 통계학의 역사 역자 서문에서

인문학이 아닌 사회과학을 공부한다는 입장에서 조금 더 빨리 공부하지 못했다는 사실이 여전히 아쉽다.