취향을 예측하는데 인구통계는 쓰레기이다.

David Z. Morris Netflix says Geography, Age, and Gender are “Garbage” for Predicting Taste

넷플릭스가 이용자 예측에 사용하는 요인들에 관한 언급을 했다. 사회과학에서 흔히 사용되던 인구통계 변수들은 아무런 쓸모가 없다는 사실이다.

“지역, 연령, 성별? 우리는 그것들을 쓰레기 더미에 던져넣었다”라고 Todd Yellin은 말했다. 대신에 이용자들은 공통된 취향을 가진 덩어리로 묶이고, 그들의 넷플릭스 홈페이지는 그들의 취향 프로필과 일치하는 상대적으로 작은 부분의 콘텐츠를 강조한다.
English

“Geography, age, and gender? We put that in the garbage heap,” VP of product Todd Yellin said. Instead, viewers are grouped into “clusters” almost exclusively by common taste, and their Netflix homepages highlight the relatively small slice of content that matches their taste profile. Those profiles could be the same for someone in New Orleans as someone in New Delhi.

재미있는 내용은 “90%의 넷플릭스 애니메이션 스트리밍은 일본 밖에서 발생한다. 애니메이션을 얼마나 좋아하는지는 국적보다 당신이 얼마나 너드(nerd)인지에 따라서 결정되기 때문이다” 라는 언급이다.
사실 인구통계 변수들은 비슷한 성별, 연령, 소득을 가진 사람들이 비슷한 경험을 할 것이라는 가정 아래서만 의미가 있다. 하지만 인터넷 이후로 우리가 경험하는 요소들이 인구통계라에 의해 설명되는 부분이 적어졌기 때문일 것이다.

By |4월 5th, 2016|Research|취향을 예측하는데 인구통계는 쓰레기이다.에 댓글 닫힘

의지력 고갈 재현성 문제

뉴스 페퍼민트에서 3편에 걸쳐 번역한 기사. 원문, 번역본 1 2 3

의지력 고갈(ego depletion)은 바우마이스터가 주장한 이후 많은 연구에서 적용되어 온 이론이다. 최근 심리학계에서 재현성의 문제를 이야기하고 있는데 바우마이스터의 유명한 초콜릿 실험도 대규모로 재현성 실험이 시도되었다. 결과는 기존과 다르게 지지되기 어렵다는 것이다 (심지어는 나도 실험해 본 경험이 있다).

물론 이번 APS의 ‘등록 재연 보고서’가 우리가 생각하던 의지력에 대한 모든 것이 틀렸다고 말하는 것은 아닙니다. 개인의 자제력은 당연히 줄어들 수 있습니다. 우리는 그저 그 자제력이 언제, 왜 감소하는지를 모르는 것일 뿐입니다. 심지어 바우마이스터의 원래 주장, 곧 사람들의 정신력은 일정한 양이 있고 이를 사용할 때마다 줄어든다는 그 주장이 실제로 참일 가능성도 있습니다. 단지 바우마이스터와 타이스가 20년 전 고안한 그 실험 방법이 적절한 방법이 아니라는 것입니다. 따라서 이 분야는 근본적으로 흔들릴 수밖에 없습니다.

“언젠가 우리는 ‘이제부터가 제대로 된 시작’이라고 말하며 모든 것을 다시 시작해야 할겁니다.” 토론토 대학의 마이클 인츨리흐트는 단지 이번 자아의 고갈 연구만이 아니라 사회심리학 분야 전체에 이런 감정을 느꼈었다고 말합니다.

과거의 모든 연구들이 의심받고 있습니다. 한때 다수의 연구를 평가하는 표준으로 여겨졌던 메타-분석 연구조차도 마찬가지입니다. “메타-분석은 쓰레기예요.” 인츨리흐트는 내게 경고했습니다. 곧, 200건의 엉성한 연구를 모아봤자 그 결과는 엉성할 수밖에 없다는 것입니다.

쓰레기를 모아서 메타분석을 해도 쓰레기라는 말이 인상적이다.

By |3월 18th, 2016|Research|의지력 고갈 재현성 문제에 댓글 닫힘

2015년이 인류에게 대단한 한 해인 11가지 이유

Angus Hervey, 11 Reasons Why 2015 Was a Great Year For Humanity

프랭클린 루즈벨트는 “우리의 진보를 검증하는 시험은 이미 많은 것을 가지고 있는 사람들의 풍요에 더 많이 보태주느냐 아니냐 하는 것이 아니라, 지나치게 적게 가지고 있는 사람들에게 충분히 주느냐 아니냐 하는 것입니다.” 라는 말을 남긴다 (The test of our progress is not whether we add more to the abundance of those who have much; it is whether we provide enough for those who have too little). 이러한 관점에서 2015년은 인류에게 대단한 한 해였다고 한다. 11가지 이유를 정리해놓았는데 관련된 자료들도 꼼꼼하게 붙어있다.

  • 우리는 포괄적, 보편적 교육에 가까워지고 있다
  • 극심한 가난이 10% 아래로 떨어졌고 역대 가장 낮은 비율이다
  • 점점 많은 사람들이 인터넷에 연결되고 있다
  • 수백만의 사람들이 최초로 금융 서비스에 접근하게 되었다
  • AIDS로 인한 죽음이 15년 연속 떨어지고 있다
  • 말라리아 사망율이 역대 최저치였다.
  • 소아마비가 곧 사라질 것이다
  • 어느 해보다도 적은 사람들이 굶주렸다
  • 더 많은 사람들이 깨끗한 물을 사용할 수 있게 되었다
  • 유아 사망률이 43년 연속 하락했다
  • 기후 변화에 맞서 싸울 수 있는 전환점에 도달했다
By |12월 31st, 2015|Research|2015년이 인류에게 대단한 한 해인 11가지 이유에 댓글 닫힘

심리학 실험의 결과들을 재실험

Science에 Estimating the reproducibility of psychological science라는 제목의 연구가 발표되었다. 유명 심리학 저널에 발표된 연구 결과 100가지를 재실험한 결과 원래 연구 결과 지지하는 못하는 것이 상당수였다는 내용이다. 특히 효과 크기(effect size)가 전반적으로 감소했다고도 언급하고 있다. NYT에서 지지되지 않은 세 가지 실험에 대한 사례를 이야기 했다.

자유 의지와 컨닝

2008년 Psychological Science에 실린 연구는 사람들이 행동이 환경적 요인에 의해 결정된다는 글을 읽은 후 실험에서 컨닝을 할 확률이 높다고 밝혔다. 저자들은 실험 결과가 자유 의지에 대한 믿음이 사회적 영향을 가진다는 것을 의미한다고 했다.

다시 이루어진 실험에서 효과는 같은 방향을 나타냈으나 훨씩 약했다.
English

In 2008, a paper in Psychological Science found that people were more likely to cheat on a test after they had read an essay arguing that behavior was predetermined by environmental factors. The authors suggested from their findings that belief in free will had societal implications.

The redone study found an effect pointing in the same direction as the original, but far weaker.

청결과 도덕성

2008년 Psychological Science는 사람들이 청결에 대해 생각하거나 손을 씻은 후에 도덕적 판단에서 덜 가혹하다는 결과를 밝혔다. 연구자들은 도덕적 순수성에 대한 판단이 신체적 청결이라는 개념과 연결되어 있다고 제안했다.

재실험 결과는 원래 결과보다 상당히 작았다.
English

In 2008, a study in Psychological Science found that people were less severe in their moral judgments after they had thought about the idea of cleanliness, or washed their hands in the wake of feeling disgust. The researchers suggested that judgments of moral purity were linked to concepts of physical cleanliness.

The retest found a substantially smaller effect than the original study.

외로움과 무생물

2008년 Psychological Science에 발표된 연구는 외로운 사람들은 인간이 아닌 것들과 인간관계를 만들어냄으로써 보상받으려고 한다고 했다. 연구자들은 사람들이 사물을 의인화할 때 함의를 가질 수 있다고 제안했다.

재실험 결과는 본래 연구의 어떤 효과도 발견되지 않았고, 연구자들이 피실험자의 감정을 어떻게 유도했는지와 관련있을 수 있다.
English

A study published in 2008 in Psychological Science found that people who are lonely compensate by creating human connections to things that are not human. The researchers suggested that their findings had implications for when people choose to anthropomorphize things.

The reproduced study found none of the effects of the original, and part of the explanation may have to do with how the researchers induced emotions in the subjects.

이번 연구가 기존 실험들이 완전히 거짓이라거나 잘못되었다는 사실을 발견한 것은 아니다. 하지만 기존 실험들의 효과가 주장하는 것 만큼 강하지 않다는 사실을 보여준다.

By |9월 1st, 2015|Research|심리학 실험의 결과들을 재실험에 댓글 닫힘

동성애 혐오 정서가 수명을 단축시킨다

American Journal of Public Health에 2014년 발표된 논문

동성애 혐오 정서를 가지고 있는 것이 사망 위혐에 어떤 영향을 미치는지를 살펴보려는 연구. General Social Survey 데이터를 National Death Index와 연결하여 사용. 결과를 보면 다른 변인들을 통제한 후에도 혐오가 높은 사람과 낮은 사람 사이에 수명이 2.5년 차이가 난다.

다른 사람을 미워하면서 사는건 본인에게도 좋지 않다.

By |7월 13th, 2015|Research|동성애 혐오 정서가 수명을 단축시킨다에 댓글 닫힘

인용한 자료 출처를 밝히는 일

들풀넷 블로그에서 수전 손택의 출처라는 글을 읽었다. 수전 손택이 감사의 글에서 본문에서 사용한 사진 출처를 밝힌 이야기를 하고 있다. 해당 사진에 대한 정보를 누구에게 들었는지까지 출처를 적었다는 사실이 인상적이라고 언급하고 있다.

손택은 세 가지 출처를 명시했다. 해당 사진의 직접적인 출처(3)는 맨 나중에 나온다. 그보다 앞에 세운 출처는 (1) 첫째로 그런 사진작가가 있다는 이야기를 어디서 읽었는가이고 (2) 둘째로 해당 사진과 관련한 이야기를 누구로부터 들었는가다. 책이나 논문에서 본 것뿐만 아니라 남에게 들은 이야기까지 출처로 밝혀둔 것이다. 원문에서는 (1)에 대해 “I am indebted to…”, (2)에 대해 “I owe the information that…”라고 해서, 모두 빚졌다는 표현을 썼다.

강의에서 학생들에게 과제를 내주면서 분명하게 출처를 밝히고 인용방식에 따라 기입할 것을 요구했는데 그럼에도 불구하고 베끼는 학생들이 너무 많다. 같은 블로그의 “그 출처를 과제에 모조리 밝혀라”라는 글에서도 비슷한 이야기를 하고 있는데 인상적이어서 블로그에 옮겨놓는다.

우리나라에서는 글을 쓰고 인용문을 다는 방식에 대해서 체계적으로 배울 기회가 부족하다. 그럼에도 보고서를 쓰는걸 기말 과제로 내주었기 때문에 적절한 피드백을 해주지 못한 것이 잘못이었다는 생각이 든다. 어떤 과제를 주고 어떻게 점수를 주어야할지 생객해볼만한 일이다.

By |7월 7th, 2015|Research|인용한 자료 출처를 밝히는 일에 댓글 닫힘