p-value의 유의성


지금 읽고 있는 책에서 통계에서 사용되는 p value가 유의적이라고 할 때의 의미에 대해 언급한 부분이 있다. 피셔는 유의성 검정을 잘못 사용하는 사람들에 대해 다음과 같이 비판했다고 한다.

유의성 검정은 우리가 연구하거나 찾고자 하는 원인이 아니라 우리가 통제할 수 없는 여러 환경적 요인들에 의해 우연히 일어난 것에 현혹되지 않게 도와준다 …… 20번에 한 번 정도 우연히 일어나는 결과를 유의적이라고 하는 것이 통상적인 관례다. 그렇다고 실험을 20번 할 때마다 한 번은 현혹 당하겠다는 것을 의미하지는 않는다. 유의성 검정은 어떤 것을 무시할 것인가를 알려준다. 말하자면 유의적인 결과가 나오지 않은 실험은 무시해도 좋다는 것이다. 연구자는 유의적인 결과가 나오도록 실험을 설계할 수 있을 때만 자기가 보여주고자 하는 것을 실험으로 보여주었다고 주장할 수 있다. 따라서 유의적인 결과라 하더라도 같은 결과가 다시 나오도록 할 수 없다면 이 결과는 더 연구해야 하는 미결 상태인 것이다.

유의성 검정에 대한 이야기를 읽고 나니 이론에 대한 몇 가지 이야기들에 대해 다시 생각해보게 되었다.

The point of theorizing, when viewed as a cognitive process, is not simply to produce validated knowledge, but, rather, to suggest plausible connections and relationships that have not yet been glimpsed.1

비슷한 이야기로 Karl Weicek도 좋은 이론이란 그럴법한 이론이라는 말을 한다.

A good theory is a plausible theory, and a theory is judged to be more plausible and of higher quality if it is interesting rather than obvious, irrelevant or absurd, obvious in novel ways, a source of unexpected connections, high in narrative rationality, aesthetically pleasing, or correspondent with presumed realities.2

결국에는 타당한 것 같은, 이치에 맞는, 그럴듯한 이야기를 하는 것이 가장 기본이라는 생각이 든다.


  1. Van Maanen, J., Sørensen, J. B., & Mitchell, T. R. (2007). The interplay between theory and method. Academy of management review, 32(4), 1145-1154. 

  2. Weick, K. E. (1989). Theory construction as disciplined imagination. Academy of management review, 14(4), 516-531.