R 관련 추천도서

Rated R: Recommended Reading

Advanced R은 읽어보려고 구입했는데 아직 펼쳐보지도 못했다. 요즘은 꼭 R을 써야만 하는걸까 하는 생각도 많이 든다. 너무 프로그래밍 하는 사람들에게 맞춰져 있어서 단순히 통계만 돌린다면 STATA를 사용하는게 훨씬 편하다는 생각을 많이 한다.

By |11월 24th, 2015|Statistics|R 관련 추천도서에 댓글 닫힘

베이지안 모델을 사용한 아내의 임신 여부 추정 모델

r-bloggers를 보다가 올라온 A Bayesian Model to Calculate Whether My Wife is Pregnant or Not

아내의 생리주기 데이터를 통해 실제 아내가 임신했는지 여부를 베이지안 모델을 사용하여 추정하는 방식. 몇 가지 일반적인 가정과 모델에 대한 구체적인 가정을 통해 베이지안 모델로 추론하는 방식에 대해 써놨다. 모델에 대한 몇 가지 비판에 대해서도 기술했는데 다른 예측 변인들을 추가할 수 있다든지 분포에 대한 가정들이 잘못되었을 수 있다든지에 대해 언급한다. 하지만 결론적으로 실제 아이를 가지게 되었다고 적고 있다.

지금은 쓸 일이 없겠지만 나도 나중에 한 번 사용해볼까 하는 생각이 든다.

By |11월 9th, 2015|Statistics|베이지안 모델을 사용한 아내의 임신 여부 추정 모델에 댓글 닫힘

앵거스 디턴의 삶과 학문적 업적

NYT에 올라온 Why Angus Deaton Deserved the Economics Nobel Prize를 뉴스페퍼민트에서 번역.

국내에서 위대한 탈출의 오역 문제로 더욱 화제가 되고 있는데 디턴이 어떤 이유로 노벨경제학상을 받게 되었는지 자세히 알 수 있는 기사. 읽다가 눈에 들어온 부분은 다음의 내용.

그는 어떤 정책이 효과가 있는지 없는지를 알아보려면, 가능한 한 무작위 대조군 연구방법 등을 통해 실험적 검증을 해봐야 한다고 주장하는 계량경제학계의 관행적 흐름에 반기를 드는 영향력 있는 균형추 역할을 해왔다. 디턴 교수는 정부의 특정한 정책이 성공했다고 해서 미래에도 이 정책이 다시 성공한다거나, 다른 상황에서도 이 정책의 성공이 재현되리라는 보장은 없다고 말했다. 이런 관점에서 보면 이론과 데이터를 통한 척도는 서로 보완 관계이며, 일반화 가능한 통찰은 그 기저에 깔려있는 경제학적 원리가 밝혀지고 검증될 때에만 생겨나는 것이다.

English
He has been an influential counterweight against a popular strand of econometric practice arguing that if you want to know whether something works, you should just test it, preferably with a randomized control trial. In Mr. Deaton’s telling, the observation that a particular government intervention worked is no guarantee that it will work again, or in another context. By this view, theory is a complement to measurement, and generalizable insights arise only when the underlying economic mechanisms are elucidated and tested.

경제학뿐만이 아니라 최근 연구 경향을 나타내 주는 내용이지 않나 싶다. 디턴이 말하는 주장이 계량하는 사람들이 생각해봐야 할만한 내용이라는 생각에서 인용.

By |10월 30th, 2015|Statistics|앵거스 디턴의 삶과 학문적 업적에 댓글 닫힘

과학적인 방법: 통계적 오류들

Nature에 실린 Scientific method: Statistical errors라는 제목의 글이 전문 번역되어 나왔다. 차분하게 읽어볼만한 글이다.

존스홉킨스 대학 보건학과의 통계학자인 리차드 로얄(Richard Royall)은 과학자가 연구 후에 묻고 싶은 세가지 질문이 있다고 말한다. “무엇이 증거인가?”, “내가 무엇을 믿어야 하는가?”, “내가 무엇을 해야 하는가?”. 단 하나의 방법으로 세가지질문에 대하여 답하지 못할 것이다. 구드만은 “숫자들은 과학적 논의가 시작되어야 할 곳이지 끝나야 할 곳이 아니다”라고 지적한다.

By |10월 26th, 2015|Statistics|과학적인 방법: 통계적 오류들에 댓글 닫힘

통계적 유의성에 대한 나쁜 정의

Andrew Gelman 교수가 U.S. Department of Health and Human Services에 올라온 통계적 유의성에 대한 정의를 보고 A bad definition of statistical significance라는 글을 남겼다. 원래 올라와 있던 정의는 다음과 같다.

정의: 연구의 결과가 참일 가능성이 있는지를 측정하는 수학적 기법이다. 통계적 유의성은 연구에서 관찰된 효과가 우연으로 인해 발생할 확률로 계산된다. 통계적 유의성은 보통 p-value로 표현된다. p-value가 적을수록 결과가 우연적으로 발생할 확률이 적다(결과가 참일 확률이 더 높다). 연구자들은 일반적으로 p-value가 0.05보다 적다면 결과가 참일 것으로 믿는다.

English
Definition: A mathematical technique to measure whether the results of a study are likely to be true. Statistical significance is calculated as the probability that an effect observed in a research study is occurring because of chance. Statistical significance is usually expressed as a P-value. The smaller the P-value, the less likely it is that the results are due to chance (and more likely that the results are true). Researchers generally believe the results are probably true if the statistical significance is a P-value less than 0.05 (p<.05).

Andrew Gelman은 몇 가지로 비판을 한 후에 자신의 정의를 적는다. 자세한 내용은 본래 글을 참고하면 된다.

정의: 단일 연구에서 근거의 강도를 측정하기 위한 수학적 기법이다. p-value가 0.05 미만이면 통계적 유의성이 있다고 관행적으로 표현했다. p-value는 실제 효과가 없다는 영가설 아래, 어떤 결과가 관찰된 것 또는 그 보다 더 큰 차이를 보게 될 확률이다. 그러므로, p-value가 작으면, 이 측정 아래 영가설과 데이터가 덜 일치하게 된다.

English
Definition: A mathematical technique to measure the strength of evidence from a single study. Statistical significance is conventionally declared when the p-value is less than 0.05. The p-value is the probability of seeing a result as strong as observed or greater, under the null hypothesis (which is commonly the hypothesis that there is no effect). Thus, the smaller the p-value, the less consistent are the data with the null hypothesis under this measure.

번역이 매끄럽지는 않지만 블로그에 남겨놓는다.

By |7월 23rd, 2015|Statistics|통계적 유의성에 대한 나쁜 정의에 댓글 닫힘

R과 비슷한 성장세를 보이는 Stata

R-bloggers에 Stata’s Academic Growth Nearly as Fast as R’s라는 글이 올라왔다. SPSS와 SAS를 제외하고 그린 그래프를 보면 학술연구에서 Stata의 성장세가 R과 유사하게 빠르다는 사실을 알 수 있다.


fig_2e_scholarlyimpactbig62

R이 무료이고 여러가지 확장기능을 지원하지만 단점이라면 필요한 라이브러리를 적절하게 찾기 어렵다는 점이 있다. 하지만 Stata의 경우 분석에 필요한 것들을 메뉴얼로 제공해주니 정형화 된 데이터만을 다루는 경우에는 오히려 Stata가 편리한 것 아닐까 하는 생각이 든다. 유료 구매를 해야하지만 번거로운 일을 해결해주는 만큼 돈을 낼 값어치가 있는 것 같기도 하다.

By |5월 13th, 2015|Statistics|R과 비슷한 성장세를 보이는 Stata에 댓글 닫힘

데이터 분석에 많이 쓰이는 소프트웨어

세미나를 하다가 얼마전에 본 글이 생각나서 적어놓는다. R-bloggers에 올라왔던 Fastest Growing Software for Scholarly Analytics라는 글에서 분석에 사용되는 소프트웨어들의 트랜드를 시각화 해 놓은 자료가 있다. 2013년과 2014년을 기준으로 한 결과를 살펴보면 가장 인기 있는 소프트웨어는 Python, R, KNIME이고 가장 큰 하락세를 보이는 것은 SPSS와 SAS이다.

fig_2e_scholarlyimpact20142

By |4월 30th, 2015|Statistics|데이터 분석에 많이 쓰이는 소프트웨어에 댓글 닫힘

왜 Stata를 사용해야 하는가?

여러가지 통계 패키지 중에서 왜 Stata를 쓰는지에 대한 글 (Why Use Stata?)을 보았다. 어떤 분도 비슷한 이야기를 했던게 생각난다. 내가 SPSS를 사용한다고 했더니 당장 가져다 버리고 Stata를 쓰라고 이야기했었다. 그리고 그 분이 말했던 장점이 여기에서 말하는 장점과 유사하다.

Eviews, SAS, SPSS, R, Stata 정도의 선택에서 Eviews는 너무 특화되어 있고 SAS는 너무 비싸서 제외된다. R은 명령어를 자꾸 까먹어서 쓰기 어렵고 SPSS는 장사질 때문에 못 쓰겠다는 이야기다. 반면 Stata는 커멘드와 메뉴얼 두 가지 모두 사용이 가능하며 메뉴얼이 잘 되어 있어서 까먹어도 쉽게 찾아볼 수 있다는 점을 말한다.

개인적으로도 비슷하게 느끼는데 가끔 가벼운 통계를 돌리기에는 SPSS가 편하다. 하지만 데이터가 1000개 정도만 넘어가도 금방 얼어버리는 경향이 있고 학교 라이센스가 없이 유료로 쓰기에는 솔직히 아깝다. SAS는 다 되는 건 알겠는데 너무 무겁고 비싸다. R은 공짜라서 좋기는 한데 명령어를 자꾸 까먹어서 매번 다시 검색해야 하는 상황이 불편하다. 데이터 다루기가 편한 면도 있지만 불편한 측면도 있다. 개인적으로도 Stata가 좋고 편한 건 알겠는데 통계를 매일같이 돌리는 입장은 아니어서 딱히 개인적으로 구매할 생각까지는 들지 않는다. 장기적으로는 좀 불편해도 R에 익숙해지는게 가장 좋은 선택은 아닌가 싶다.

By |3월 24th, 2015|Statistics|왜 Stata를 사용해야 하는가?에 댓글 닫힘

p-value 금지는 과학을 위한 큰 도약

저널을 위해서는 작은 전진이지만 과학을 위해서는 큰 도약이라는 p-value 금지와 관련된 기사가 있어 옮겨놓는다 (P value ban: small step for a journal, giant leap for science).

“이 방법이 이루어 낸 탁월한 것에서도 불구하고 … 이성적 추론의 본성에 대한 근본적 오해에 기반하고 있고, 비록 과학적 연구에 적절한 부분이 있다 해도 극히 드물다” 과학철학자 William Rozeboom은 1960년대에 말했다. 이후 그는 이것을 “지금까지 제도화 된 학생들의 암기식 교육중에서 확실하게 가장 멍청했던 잘못 판단한 절차”라고 말했다.

“Despite the awesome pre-eminence this method has attained … it is based upon a fundamental misunderstanding of the nature of rational inference, and is seldom if ever appropriate to the aims of scientific research,” the philosopher of science William Rozeboom wrote — in 1960. Later he called it “surely the most bone-headedly misguided procedure ever institutionalized in the rote training of science students.”

이러한 문제와 관련되어 언급되었던 p-value hacking이나 동일한 결과가 재현이 되지 않는 것에 대한 지적들도 언급하고 있다. 그리고 재미있는 사실도 마지막에 이야기하고 있는데 유명한 과학저널 (어디인지는 모르지만) 이와 관련된 설명에서 다음과 같이 언급했다고 한다.

“the closer to zero the P value gets, the greater the chance that the null hypothesis is false.”

어찌보면 통계란 이해하기 어려운 표현방식이다. 없애는 것이 커뮤니케이션을 위해 훨씬 좋은 방안일지도 모른다.

By |3월 24th, 2015|Statistics|p-value 금지는 과학을 위한 큰 도약에 댓글 닫힘

왜 p-value 사용을 금지하는가?

Basic and Applied Social Psychology에서 p-value 사용을 금지한 것과 관련해 r-bloggers에 p-value 사용을 금지하는지에 대한 글이 실렸다. 이 글에서는 샘플링의 문제로 영가설을 거부하는 결과가 나올 수 있다는 사실을 간단한 시뮬레이션을 통해 보여주고 있다. 그런데 댓글에서도 볼 수 있듯이 효과크기에 대한 이야기들이 많이 빠져 있다. 그래서 효과 크기와 관련된 논문을 찾다가 Using Effect Size—or Why the P Value Is Not Enough라는 논문을 찾아서 읽어봤다.

효과 크기는 양적 연구의 주요한 결과물이다. p-value는 독자들에게 효과가 존재하는지 아닌지를 알려주는 반면, 효과의 크기를 나타내지는 못한다. 연구결과를 보고하고 해석하는데 있어서, 실질적인 중요성 (효과크기)와 통계적인 중요성 (p-value) 모두 보고되어야 하는 필수적인 결과다.
The effect size is the main finding of a quantitative study. While a P value can inform the reader whether an effect exists, the P value will not reveal the size of the effect. In reporting and interpreting studies, both the substantive significance (effect size) and statistical significance (P value) are essential results to be reported.

p-value만으로는 충분하지 않은지에 대해 심근경색과 아스피린에 관한 사례를 이야기하고 있다. 22,000명 이상의 피실험자를 대상으로 한 실험 결과에서 아스피린이 심근경색을 줄일 수 있다는 결과는 매우 높은 유의성 (p < .00001)으로 검증이 되었다. 너무 확실한 결과로 인해 연구는 조기 종료되었는데 효과 크기는 매우 작았다 (나도 도움이 된다고 알고 있었는데, 이 논문을 보고 알게 되었다) .

이 외에도 유방암 조기 검사와 관련된 사례도 있다. 여성들이 조기에 유방암 검사를 하게 됨으로써 얻게 되는 이익은 무엇이고 안게 되는 위험은 무엇인가? 실질적으로 얼마나 유방암을 예방할 수 있을지에 대해서는 큰 효과가 없다는 사례도 보았다.

p-value보다 효과 크기에 더 집중해야 하는지는 샘플 사이즈가 증가하면서 생긴 변화라는 생각이 든다. 2013년도 Information Systems Research에 나온 Too Big to Fail: Large Samples and the p-Value Problem라는 논문에서도 이런 사례에 대해서 이야기하고 있다. 예전보다 많은 수의 샘플을 가지고 하는 연구들이 용이해졌고 그렇기 때문에 더욱 효과 크기에 집중해야 하는게 아닌가 싶다.

하지만 연구를 하다보면 항상 새로운 연구 결과를 요구하고 참신하고 기존과는 다른 것만을 요구하기 때문에 이런 식으로 된 건 아닐까 싶다. 꼭 저널에 실리지 않더라도 연구가 복제되고 심지어 유의하지 않거나 논쟁이 될 수 있는 결과까지 출판[1]할 수 있다면 연구한다는게 훨씬 더 나은 의미를 가질 수 있지 않을까 생각한다.


  1. 엘스비어 출판사에서 New Negatives in Plant Science라는 저널을 만들었다. 이와 관련해서 왜 과학은 부정적인 결과를 출판할 필요가 있는지에 대한 간단한 사설을 실었다.  ↩

By |3월 8th, 2015|Statistics|왜 p-value 사용을 금지하는가?에 댓글 닫힘