p-value 금지는 과학을 위한 큰 도약


저널을 위해서는 작은 전진이지만 과학을 위해서는 큰 도약이라는 p-value 금지와 관련된 기사가 있어 옮겨놓는다 (P value ban: small step for a journal, giant leap for science).

“이 방법이 이루어 낸 탁월한 것에서도 불구하고 … 이성적 추론의 본성에 대한 근본적 오해에 기반하고 있고, 비록 과학적 연구에 적절한 부분이 있다 해도 극히 드물다” 과학철학자 William Rozeboom은 1960년대에 말했다. 이후 그는 이것을 “지금까지 제도화 된 학생들의 암기식 교육중에서 확실하게 가장 멍청했던 잘못 판단한 절차”라고 말했다.

“Despite the awesome pre-eminence this method has attained … it is based upon a fundamental misunderstanding of the nature of rational inference, and is seldom if ever appropriate to the aims of scientific research,” the philosopher of science William Rozeboom wrote — in 1960. Later he called it “surely the most bone-headedly misguided procedure ever institutionalized in the rote training of science students.”

이러한 문제와 관련되어 언급되었던 p-value hacking이나 동일한 결과가 재현이 되지 않는 것에 대한 지적들도 언급하고 있다. 그리고 재미있는 사실도 마지막에 이야기하고 있는데 유명한 과학저널 (어디인지는 모르지만) 이와 관련된 설명에서 다음과 같이 언급했다고 한다.

“the closer to zero the P value gets, the greater the chance that the null hypothesis is false.”

어찌보면 통계란 이해하기 어려운 표현방식이다. 없애는 것이 커뮤니케이션을 위해 훨씬 좋은 방안일지도 모른다.