저널을 위해서는 작은 전진이지만 과학을 위해서는 큰 도약이라는 p-value 금지와 관련된 기사가 있어 옮겨놓는다 (P value ban: small step for a journal, giant leap for science).

“이 방법이 이루어 낸 탁월한 것에서도 불구하고 … 이성적 추론의 본성에 대한 근본적 오해에 기반하고 있고, 비록 과학적 연구에 적절한 부분이 있다 해도 극히 드물다” 과학철학자 William Rozeboom은 1960년대에 말했다. 이후 그는 이것을 “지금까지 제도화 된 학생들의 암기식 교육중에서 확실하게 가장 멍청했던 잘못 판단한 절차”라고 말했다.

“Despite the awesome pre-eminence this method has attained … it is based upon a fundamental misunderstanding of the nature of rational inference, and is seldom if ever appropriate to the aims of scientific research,” the philosopher of science William Rozeboom wrote — in 1960. Later he called it “surely the most bone-headedly misguided procedure ever institutionalized in the rote training of science students.”

이러한 문제와 관련되어 언급되었던 p-value hacking이나 동일한 결과가 재현이 되지 않는 것에 대한 지적들도 언급하고 있다. 그리고 재미있는 사실도 마지막에 이야기하고 있는데 유명한 과학저널 (어디인지는 모르지만) 이와 관련된 설명에서 다음과 같이 언급했다고 한다.

“the closer to zero the P value gets, the greater the chance that the null hypothesis is false.”

어찌보면 통계란 이해하기 어려운 표현방식이다. 없애는 것이 커뮤니케이션을 위해 훨씬 좋은 방안일지도 모른다.

여러가지 통계 패키지 중에서 왜 Stata를 쓰는지에 대한 글 (Why Use Stata?)을 보았다. 어떤 분도 비슷한 이야기를 했던게 생각난다. 내가 SPSS를 사용한다고 했더니 당장 가져다 버리고 Stata를 쓰라고 이야기했었다. 그리고 그 분이 말했던 장점이 여기에서 말하는 장점과 유사하다.

Eviews, SAS, SPSS, R, Stata 정도의 선택에서 Eviews는 너무 특화되어 있고 SAS는 너무 비싸서 제외된다. R은 명령어를 자꾸 까먹어서 쓰기 어렵고 SPSS는 장사질 때문에 못 쓰겠다는 이야기다. 반면 Stata는 커멘드와 메뉴얼 두 가지 모두 사용이 가능하며 메뉴얼이 잘 되어 있어서 까먹어도 쉽게 찾아볼 수 있다는 점을 말한다.

개인적으로도 비슷하게 느끼는데 가끔 가벼운 통계를 돌리기에는 SPSS가 편하다. 하지만 데이터가 1000개 정도만 넘어가도 금방 얼어버리는 경향이 있고 학교 라이센스가 없이 유료로 쓰기에는 솔직히 아깝다. SAS는 다 되는 건 알겠는데 너무 무겁고 비싸다. R은 공짜라서 좋기는 한데 명령어를 자꾸 까먹어서 매번 다시 검색해야 하는 상황이 불편하다. 데이터 다루기가 편한 면도 있지만 불편한 측면도 있다. 개인적으로도 Stata가 좋고 편한 건 알겠는데 통계를 매일같이 돌리는 입장은 아니어서 딱히 개인적으로 구매할 생각까지는 들지 않는다. 장기적으로는 좀 불편해도 R에 익숙해지는게 가장 좋은 선택은 아닌가 싶다.

세미나를 하다가 얼마전에 본 글이 생각나서 적어놓는다. R-bloggers에 올라왔던 Fastest Growing Software for Scholarly Analytics라는 글에서 분석에 사용되는 소프트웨어들의 트랜드를 시각화 해 놓은 자료가 있다. 2013년과 2014년을 기준으로 한 결과를 살펴보면 가장 인기 있는 소프트웨어는 Python, R, KNIME이고 가장 큰 하락세를 보이는 것은 SPSS와 SAS이다.

통계는 고등학교 정석에도 당연히 포함되어 있으니 수능 공부를 경험한 사람 치고 모르는 사람은 없겠지만 수능에서 비중이 얼마 크지 않아 포기하는 부분이기도 하다(적어도 나때는 그랬다). 많은 친구들이 봐야 할 분량은 많은데 비해 나오는 문제는 한 문제 정도였던 통계를 포기했다. 나는 포기하지는 않았던 것 같은데 열심히 보지는 않아서 그런지 전혀 기억이 나지 않았다.

대학교 가서도 통계를 공부해야겠다는 생각은 전혀 가지지 않았다. 기껏해야 필수 과목으로 포함되어 있는 조사방법론 수업을 하나 들었을 뿐이었다. 그것도 어렵다는 소문이 자자해서 많은 친구들이 계절학기로 짧게 수강하는걸 권했다. 덕분에 나도 계절학기로 수업을 듣기는 했다.

이상하게 수업을 들으면서도 거의 이해를 하지 못해서 그냥 적당히 공식을 외웠던 것 같은 기억이 난다. 그럼에도 A+를 받았다는 사실이 신기하기는 하지만 말이다. 대학원에 가서도 어쩐지 통계란 전혀 이해할 수 없는 것처럼 느껴졌는데 석사 때 통계를 잘 가르치지 않는 편이기도 했고 듣는 수업 대부분이 통계를 다룬 논문은 보지를 않았기 때문이기도 했다.

완전히 무지했던 걸 생각하면 지금은 기초적인 통계는 아는 편이라고 생각하지만 개념적으로 여전히 잘 이해되지 않는 부분들이 있다. 그래서 통계학의 역사와 관련된 책들을 몇 권 읽어보기로 했다. 우선 통계학의 피카소는 누구일까?를 먼저 보려고 했으나 현재 절판된 상태이다. 익숙한 기본적인 개념들에 대한 내용들을 접할 수 있는 것 같다. 조금 두꺼워서 부담스럽지만 통계학의 역사라는 책도 괜찮은 것 같다. 부담스럽다면 역자가 쓴 서문만 읽어보다고 개략적인 흐름을 파악하는데 도움이 된다.

통계사는 아니라 통계일반과 관련된 책으로 숫자에 속아 위험한 선택을 하는 사람들이라는 책도 있다. 상당히 재미있을 것 같은데 아직까지 구입하고 읽지 못했다.

통계에 관련된 책을 읽을 때마다 많이 부족하다는 생각이 든다. 기본적으로 내가 공부했던 환경이 수학적인 측정과 표현에 대해 거부감을 드러내는 사람들이 많았기 때문이기도 한 것 같다. John Arbuthnot¹은 다음과 같이 말했다고 한다.

우리가 알고 있는 것들 가운데 수학적 추론으로 환원될 수 없는 것은 거의 없다. 만약 그러한 것이 있다면 이는 그에 대해 우리가 지극히 적고 혼란스럽게 알고 있다는 표시일 뿐이다. – 통계학의 역사 역자 서문에서

인문학이 아닌 사회과학을 공부한다는 입장에서 조금 더 빨리 공부하지 못했다는 사실이 여전히 아쉽다.

지금 읽고 있는 책에서 통계에서 사용되는 p value가 유의적이라고 할 때의 의미에 대해 언급한 부분이 있다. 피셔는 유의성 검정을 잘못 사용하는 사람들에 대해 다음과 같이 비판했다고 한다.

유의성 검정은 우리가 연구하거나 찾고자 하는 원인이 아니라 우리가 통제할 수 없는 여러 환경적 요인들에 의해 우연히 일어난 것에 현혹되지 않게 도와준다 …… 20번에 한 번 정도 우연히 일어나는 결과를 유의적이라고 하는 것이 통상적인 관례다. 그렇다고 실험을 20번 할 때마다 한 번은 현혹 당하겠다는 것을 의미하지는 않는다. 유의성 검정은 어떤 것을 무시할 것인가를 알려준다. 말하자면 유의적인 결과가 나오지 않은 실험은 무시해도 좋다는 것이다. 연구자는 유의적인 결과가 나오도록 실험을 설계할 수 있을 때만 자기가 보여주고자 하는 것을 실험으로 보여주었다고 주장할 수 있다. 따라서 유의적인 결과라 하더라도 같은 결과가 다시 나오도록 할 수 없다면 이 결과는 더 연구해야 하는 미결 상태인 것이다.

유의성 검정에 대한 이야기를 읽고 나니 이론에 대한 몇 가지 이야기들에 대해 다시 생각해보게 되었다.

The point of theorizing, when viewed as a cognitive process, is not simply to produce validated knowledge, but, rather, to suggest plausible connections and relationships that have not yet been glimpsed.¹

비슷한 이야기로 Karl Weicek도 좋은 이론이란 그럴법한 이론이라는 말을 한다.

A good theory is a plausible theory, and a theory is judged to be more plausible and of higher quality if it is interesting rather than obvious, irrelevant or absurd, obvious in novel ways, a source of unexpected connections, high in narrative rationality, aesthetically pleasing, or correspondent with presumed realities.²

결국에는 타당한 것 같은, 이치에 맞는, 그럴듯한 이야기를 하는 것이 가장 기본이라는 생각이 든다.

통제와 관련해서 스텔라 컨리프의 이야기들이 있다. 그녀가 기네스 맥주 공장에서 근무할 때 사례이다.

누구나 특정 숫자나 글자 그리고 색깔에 대한 편견을 가지고 있고, 어느 정도는 미신적인 것을 믿습니다. 맥주의 최적 보관온도를 결정하는 실험에서 실험 대상자는 온도가 다른 방에서 온도가 다른 맥주를 마셔야 했습니다. 맥주의 온도를 구별할 수 있도록 온도에 따라 다른 색깔의 병마개로 봉인하였습니다. 하지만 이 실험에서 얻은 결과는 실험대상자들이 맥주의 맛보다는 병마개 색깔에 더 영향을 받는다는 것이었습니다. 실험대상자들은 노란색 병마개를 싫어했습니다.

사실은 기초적인 이야기이고 당연하다고 생각하겠지만 숫자에만 빠져서 통제가 제대로 이루어지는지 고려하지 않는 경우가 많다. 점점 복잡하고 어려운 통계들을 사용하지만 오히려 기본적인 것을 지키는게 중요한 것 아닌지 생각해보게 된다. 수치를 보고 왜 그렇게 나왔는지 생각해보아야 한다.

남자 제소자의 선고형량과 석방 후 2년 내 재범률을 분석한 연구는 명백히 선고형량이 적을수록 재범률이 높다는 것을 보여주었다. 하지만 원자료를 자세히 조사한 결과 형량이 3개월이 안 되는 제소자들에게서 연관성이 강하게 나타난다는 것을 알아냈다 … 무거운 형량이 재범률을 낮추는 효과가 있다는 증거는 형량이 10년 이상의 장기 재소자들의 재범률이 15퍼센트 이하라는 것이었다. 이 결과에는 연령이라는 중요한 요인이 관련되어 있는데 사기나 위조범죄를 저지른 사람들은 주로 무거운 형을 받는데, 그들이 출소할 즈음엔 나이가 들어 또 다른 범죄를 저지르기 어렵다.