R Users Will Now Inevitably Become Bayesians

베이지안 모델링을 위한 brms, rstanarm 패키지를 소개하는 글이다. 앞 부분에서 베이지안에 대해 짧게 언급하고 있다.

회귀분석 모델링에서 모든 사람들이 베이지안 방식을 사용하지 않는데는 몇 가지 이유가 있다. 하나는 베이지안 모델링이 더 많은 생각을 요구하기 때문이다. 사전확률과 같은 성가신 일을 해야하고, 만약 절차가 오류 메시지 없이 실행된다면 답이 타당한지 가정할 수 없다. 두 번째 이유는 MCMC 샘플링이 유사한 형태 혹은 MLE 절차에 비해 느릴 수 있다. 세 번째 이유는 지금 베이즈 솔루션이 매우 고급화되어 있거나 BUGS, JAGS, Stan과 같은 일반적인 툴을 사용하는 지식을 요구하기 때문이다.

[expand title=English]
There are several reasons why everyone isn’t using Bayesian methods for regression modeling. One reason is that Bayesian modeling requires more thought: you need pesky things like priors, and you can’t assume that if a procedure runs without throwing an error that the answers are valid. A second reason is that MCMC sampling — the bedrock of practical Bayesian modeling — can be slow compared to closed-form or MLE procedures. A third reason is that existing Bayesian solutions have either been highly-specialized (and thus inflexible), or have required knowing how to use a generalized tool like BUGS, JAGS, or Stan.[/expand]

언젠가부터 베이지안 모델링이 많이 이용되는 것 같다. 이를 이용한 논문들도 점점 많아져서 예전에 좀 찾아봤는데 이해하기가 쉽지 않다. 베이즈 정리는 특정한 사건이나 증거를 설명하기 위해 주관적인 믿음이 바뀌는 것을 표현한다. 간단하게는 주관주의 확률론이라고 말할 수 있을 것이다. 베이지안 방법이 가지는 장점은 여러가지가 있지만 가설이 참과 거짓인 확률을 설명할 수 있다는 점과 여러 가설들 사이에서 참일 확률을 비교할 수 있다는 점이다.

최근 심리학쪽에서 이슈가 되고 있는 p-value에 대한 문제나 가설검정에 대한 논의들로 인해 베이지안 모델링의 이러한 장점들이 주목을 받았다. 이번에는 마음 먹고 배워보려고 좀 알아봤으나 개론서라고 나와 있는 수준도 수학이 꽤나 많이 들어간다. 그래도 재미있기는 한데 사전확률의 분포와 샘플링에 대한 부분에서는 점점 복잡해져서 실제로 어떻게 적용해야할지 감이 잘 오지 않는다.

Nature에 실린 Scientific method: Statistical errors라는 제목의 글이 전문 번역되어 나왔다. 차분하게 읽어볼만한 글이다.

존스홉킨스 대학 보건학과의 통계학자인 리차드 로얄(Richard Royall)은 과학자가 연구 후에 묻고 싶은 세가지 질문이 있다고 말한다. “무엇이 증거인가?”, “내가 무엇을 믿어야 하는가?”, “내가 무엇을 해야 하는가?”. 단 하나의 방법으로 세가지질문에 대하여 답하지 못할 것이다. 구드만은 “숫자들은 과학적 논의가 시작되어야 할 곳이지 끝나야 할 곳이 아니다”라고 지적한다.

NYT에 올라온 Why Angus Deaton Deserved the Economics Nobel Prize를 뉴스페퍼민트에서 번역.

국내에서 위대한 탈출의 오역 문제로 더욱 화제가 되고 있는데 디턴이 어떤 이유로 노벨경제학상을 받게 되었는지 자세히 알 수 있는 기사. 읽다가 눈에 들어온 부분은 다음의 내용.

그는 어떤 정책이 효과가 있는지 없는지를 알아보려면, 가능한 한 무작위 대조군 연구방법 등을 통해 실험적 검증을 해봐야 한다고 주장하는 계량경제학계의 관행적 흐름에 반기를 드는 영향력 있는 균형추 역할을 해왔다. 디턴 교수는 정부의 특정한 정책이 성공했다고 해서 미래에도 이 정책이 다시 성공한다거나, 다른 상황에서도 이 정책의 성공이 재현되리라는 보장은 없다고 말했다. 이런 관점에서 보면 이론과 데이터를 통한 척도는 서로 보완 관계이며, 일반화 가능한 통찰은 그 기저에 깔려있는 경제학적 원리가 밝혀지고 검증될 때에만 생겨나는 것이다.

[expand title=English] He has been an influential counterweight against a popular strand of econometric practice arguing that if you want to know whether something works, you should just test it, preferably with a randomized control trial. In Mr. Deaton’s telling, the observation that a particular government intervention worked is no guarantee that it will work again, or in another context. By this view, theory is a complement to measurement, and generalizable insights arise only when the underlying economic mechanisms are elucidated and tested.[/expand]

경제학뿐만이 아니라 최근 연구 경향을 나타내 주는 내용이지 않나 싶다. 디턴이 말하는 주장이 계량하는 사람들이 생각해봐야 할만한 내용이라는 생각에서 인용.

r-bloggers를 보다가 올라온 A Bayesian Model to Calculate Whether My Wife is Pregnant or Not

아내의 생리주기 데이터를 통해 실제 아내가 임신했는지 여부를 베이지안 모델을 사용하여 추정하는 방식. 몇 가지 일반적인 가정과 모델에 대한 구체적인 가정을 통해 베이지안 모델로 추론하는 방식에 대해 써놨다. 모델에 대한 몇 가지 비판에 대해서도 기술했는데 다른 예측 변인들을 추가할 수 있다든지 분포에 대한 가정들이 잘못되었을 수 있다든지에 대해 언급한다. 하지만 결론적으로 실제 아이를 가지게 되었다고 적고 있다.

지금은 쓸 일이 없겠지만 나도 나중에 한 번 사용해볼까 하는 생각이 든다.

Rated R: Recommended Reading

Advanced R은 읽어보려고 구입했는데 아직 펼쳐보지도 못했다. 요즘은 꼭 R을 써야만 하는걸까 하는 생각도 많이 든다. 너무 프로그래밍 하는 사람들에게 맞춰져 있어서 단순히 통계만 돌린다면 STATA를 사용하는게 훨씬 편하다는 생각을 많이 한다.

Andrew Gelman 교수가 U.S. Department of Health and Human Services에 올라온 통계적 유의성에 대한 정의를 보고 A bad definition of statistical significance라는 글을 남겼다. 원래 올라와 있던 정의는 다음과 같다.

정의: 연구의 결과가 참일 가능성이 있는지를 측정하는 수학적 기법이다. 통계적 유의성은 연구에서 관찰된 효과가 우연으로 인해 발생할 확률로 계산된다. 통계적 유의성은 보통 p-value로 표현된다. p-value가 적을수록 결과가 우연적으로 발생할 확률이 적다(결과가 참일 확률이 더 높다). 연구자들은 일반적으로 p-value가 0.05보다 적다면 결과가 참일 것으로 믿는다.

[expand title=English]
Definition: A mathematical technique to measure whether the results of a study are likely to be true. Statistical significance is calculated as the probability that an effect observed in a research study is occurring because of chance. Statistical significance is usually expressed as a P-value. The smaller the P-value, the less likely it is that the results are due to chance (and more likely that the results are true). Researchers generally believe the results are probably true if the statistical significance is a P-value less than 0.05 (p<.05).[/expand]

Andrew Gelman은 몇 가지로 비판을 한 후에 자신의 정의를 적는다. 자세한 내용은 본래 글을 참고하면 된다.

정의: 단일 연구에서 근거의 강도를 측정하기 위한 수학적 기법이다. p-value가 0.05 미만이면 통계적 유의성이 있다고 관행적으로 표현했다. p-value는 실제 효과가 없다는 영가설 아래, 어떤 결과가 관찰된 것 또는 그 보다 더 큰 차이를 보게 될 확률이다. 그러므로, p-value가 작으면, 이 측정 아래 영가설과 데이터가 덜 일치하게 된다.

[expand title=English]
Definition: A mathematical technique to measure the strength of evidence from a single study. Statistical significance is conventionally declared when the p-value is less than 0.05. The p-value is the probability of seeing a result as strong as observed or greater, under the null hypothesis (which is commonly the hypothesis that there is no effect). Thus, the smaller the p-value, the less consistent are the data with the null hypothesis under this measure.[/expand]

번역이 매끄럽지는 않지만 블로그에 남겨놓는다.

R-bloggers에 Stata’s Academic Growth Nearly as Fast as R’s라는 글이 올라왔다. SPSS와 SAS를 제외하고 그린 그래프를 보면 학술연구에서 Stata의 성장세가 R과 유사하게 빠르다는 사실을 알 수 있다.

R이 무료이고 여러가지 확장기능을 지원하지만 단점이라면 필요한 라이브러리를 적절하게 찾기 어렵다는 점이 있다. 하지만 Stata의 경우 분석에 필요한 것들을 메뉴얼로 제공해주니 정형화 된 데이터만을 다루는 경우에는 오히려 Stata가 편리한 것 아닐까 하는 생각이 든다. 유료 구매를 해야하지만 번거로운 일을 해결해주는 만큼 돈을 낼 값어치가 있는 것 같기도 하다.

통계는 고등학교 정석에도 당연히 포함되어 있으니 수능 공부를 경험한 사람 치고 모르는 사람은 없겠지만 수능에서 비중이 얼마 크지 않아 포기하는 부분이기도 하다(적어도 나때는 그랬다). 많은 친구들이 봐야 할 분량은 많은데 비해 나오는 문제는 한 문제 정도였던 통계를 포기했다. 나는 포기하지는 않았던 것 같은데 열심히 보지는 않아서 그런지 전혀 기억이 나지 않았다.

대학교 가서도 통계를 공부해야겠다는 생각은 전혀 가지지 않았다. 기껏해야 필수 과목으로 포함되어 있는 조사방법론 수업을 하나 들었을 뿐이었다. 그것도 어렵다는 소문이 자자해서 많은 친구들이 계절학기로 짧게 수강하는걸 권했다. 덕분에 나도 계절학기로 수업을 듣기는 했다.

이상하게 수업을 들으면서도 거의 이해를 하지 못해서 그냥 적당히 공식을 외웠던 것 같은 기억이 난다. 그럼에도 A+를 받았다는 사실이 신기하기는 하지만 말이다. 대학원에 가서도 어쩐지 통계란 전혀 이해할 수 없는 것처럼 느껴졌는데 석사 때 통계를 잘 가르치지 않는 편이기도 했고 듣는 수업 대부분이 통계를 다룬 논문은 보지를 않았기 때문이기도 했다.

완전히 무지했던 걸 생각하면 지금은 기초적인 통계는 아는 편이라고 생각하지만 개념적으로 여전히 잘 이해되지 않는 부분들이 있다. 그래서 통계학의 역사와 관련된 책들을 몇 권 읽어보기로 했다. 우선 통계학의 피카소는 누구일까?를 먼저 보려고 했으나 현재 절판된 상태이다. 익숙한 기본적인 개념들에 대한 내용들을 접할 수 있는 것 같다. 조금 두꺼워서 부담스럽지만 통계학의 역사라는 책도 괜찮은 것 같다. 부담스럽다면 역자가 쓴 서문만 읽어보다고 개략적인 흐름을 파악하는데 도움이 된다.

통계사는 아니라 통계일반과 관련된 책으로 숫자에 속아 위험한 선택을 하는 사람들이라는 책도 있다. 상당히 재미있을 것 같은데 아직까지 구입하고 읽지 못했다.

통계에 관련된 책을 읽을 때마다 많이 부족하다는 생각이 든다. 기본적으로 내가 공부했던 환경이 수학적인 측정과 표현에 대해 거부감을 드러내는 사람들이 많았기 때문이기도 한 것 같다. John Arbuthnot¹은 다음과 같이 말했다고 한다.

우리가 알고 있는 것들 가운데 수학적 추론으로 환원될 수 없는 것은 거의 없다. 만약 그러한 것이 있다면 이는 그에 대해 우리가 지극히 적고 혼란스럽게 알고 있다는 표시일 뿐이다. – 통계학의 역사 역자 서문에서

인문학이 아닌 사회과학을 공부한다는 입장에서 조금 더 빨리 공부하지 못했다는 사실이 여전히 아쉽다.

지금 읽고 있는 책에서 통계에서 사용되는 p value가 유의적이라고 할 때의 의미에 대해 언급한 부분이 있다. 피셔는 유의성 검정을 잘못 사용하는 사람들에 대해 다음과 같이 비판했다고 한다.

유의성 검정은 우리가 연구하거나 찾고자 하는 원인이 아니라 우리가 통제할 수 없는 여러 환경적 요인들에 의해 우연히 일어난 것에 현혹되지 않게 도와준다 …… 20번에 한 번 정도 우연히 일어나는 결과를 유의적이라고 하는 것이 통상적인 관례다. 그렇다고 실험을 20번 할 때마다 한 번은 현혹 당하겠다는 것을 의미하지는 않는다. 유의성 검정은 어떤 것을 무시할 것인가를 알려준다. 말하자면 유의적인 결과가 나오지 않은 실험은 무시해도 좋다는 것이다. 연구자는 유의적인 결과가 나오도록 실험을 설계할 수 있을 때만 자기가 보여주고자 하는 것을 실험으로 보여주었다고 주장할 수 있다. 따라서 유의적인 결과라 하더라도 같은 결과가 다시 나오도록 할 수 없다면 이 결과는 더 연구해야 하는 미결 상태인 것이다.

유의성 검정에 대한 이야기를 읽고 나니 이론에 대한 몇 가지 이야기들에 대해 다시 생각해보게 되었다.

The point of theorizing, when viewed as a cognitive process, is not simply to produce validated knowledge, but, rather, to suggest plausible connections and relationships that have not yet been glimpsed.¹

비슷한 이야기로 Karl Weicek도 좋은 이론이란 그럴법한 이론이라는 말을 한다.

A good theory is a plausible theory, and a theory is judged to be more plausible and of higher quality if it is interesting rather than obvious, irrelevant or absurd, obvious in novel ways, a source of unexpected connections, high in narrative rationality, aesthetically pleasing, or correspondent with presumed realities.²

결국에는 타당한 것 같은, 이치에 맞는, 그럴듯한 이야기를 하는 것이 가장 기본이라는 생각이 든다.

통제와 관련해서 스텔라 컨리프의 이야기들이 있다. 그녀가 기네스 맥주 공장에서 근무할 때 사례이다.

누구나 특정 숫자나 글자 그리고 색깔에 대한 편견을 가지고 있고, 어느 정도는 미신적인 것을 믿습니다. 맥주의 최적 보관온도를 결정하는 실험에서 실험 대상자는 온도가 다른 방에서 온도가 다른 맥주를 마셔야 했습니다. 맥주의 온도를 구별할 수 있도록 온도에 따라 다른 색깔의 병마개로 봉인하였습니다. 하지만 이 실험에서 얻은 결과는 실험대상자들이 맥주의 맛보다는 병마개 색깔에 더 영향을 받는다는 것이었습니다. 실험대상자들은 노란색 병마개를 싫어했습니다.

사실은 기초적인 이야기이고 당연하다고 생각하겠지만 숫자에만 빠져서 통제가 제대로 이루어지는지 고려하지 않는 경우가 많다. 점점 복잡하고 어려운 통계들을 사용하지만 오히려 기본적인 것을 지키는게 중요한 것 아닌지 생각해보게 된다. 수치를 보고 왜 그렇게 나왔는지 생각해보아야 한다.

남자 제소자의 선고형량과 석방 후 2년 내 재범률을 분석한 연구는 명백히 선고형량이 적을수록 재범률이 높다는 것을 보여주었다. 하지만 원자료를 자세히 조사한 결과 형량이 3개월이 안 되는 제소자들에게서 연관성이 강하게 나타난다는 것을 알아냈다 … 무거운 형량이 재범률을 낮추는 효과가 있다는 증거는 형량이 10년 이상의 장기 재소자들의 재범률이 15퍼센트 이하라는 것이었다. 이 결과에는 연령이라는 중요한 요인이 관련되어 있는데 사기나 위조범죄를 저지른 사람들은 주로 무거운 형을 받는데, 그들이 출소할 즈음엔 나이가 들어 또 다른 범죄를 저지르기 어렵다.