Fleckenstein, J., Meyer, J., Jansen, T., Keller, S. D., Köller, O., & Möller, J. (2024). Do teachers spot AI? Evaluating the detectability of AI-generated texts among student essays. Computers and Education: Artificial Intelligence, 6, 100209.

간단한 실험 연구. 식별이 생각처럼 쉽지 않다는 것과 자신의 능력을 과신한다는 결과. 아래는 초록

학교와 대학에서 생성 인공지능(AI)의 잠재적 적용은 특히 학생의 텍스트 평가에 큰 도전이 되고 있습니다. 이전 연구에 따르면 사람들은 일반적으로 AI가 생성한 텍스트와 사람이 작성한 텍스트를 구별하는 데 어려움을 겪지만, 교사가 학생의 에세이 중에서 AI가 생성한 텍스트를 식별하는 능력은 아직 조사되지 않았습니다. 여기에서는 두 가지 실험 연구에서 초보자(N = 89)와 숙련된 교사(N = 200)가 학생이 작성한 텍스트 중 ChatGPT가 생성한 텍스트를 식별하지 못하는 것을 보여 줍니다. 그러나 경험이 많은 교사가 더 차별화되고 더 정확한 판단을 내린 것으로 나타났습니다. 또한 두 그룹 모두 자신의 판단을 과신하는 경향이 있었습니다. 실제 출처와 가정된 출처가 품질 평가에 미치는 영향은 이질적이었습니다. 연구 결과에 따르면 현재 인공지능은 비교적 적은 자극만으로 교사가 감지할 수 없는 텍스트를 생성할 수 있으며, 이는 학교와 대학이 학생 에세이를 채점하는 데 어려움을 겪고 있음을 보여줍니다. 이번 연구는 최신 기술 발전에 비추어 학교와 대학의 시험 전략에 관한 현재 논쟁에 대한 경험적 증거를 제공합니다.

The Lithium Boom, Retractions, Real Estate, and Skateboarding

철회된 논문이 급증했다는 네이처 그래프

출판사가 논문 심사나 편집 방식에 너무 신경 쓰지 않고도 돈을 버는 비즈니스를 구축했다는 것입니다. 이력서를 채우기 위해 더 많은 논문을 발표하고 싶어하는 연구자들은 기꺼이 논문을 발표했고, 학부에서는 연구자들이 논문을 발표하는 것을 보고 기뻐했고, 그렇게 많은 논문이 기껏해야 모호하고 최악의 경우 명백한 사기라는 것이 드러날 때까지는 그렇게 진행되었습니다.

Reviewers, don’t be rude to nonnative English speakers
By Adriana L. Romero-Olivares
 
“This paper requires significant editing, as it is not written in sound English and cannot be accepted in its current form.”
“This sentence does not make any sense.”
“The authors need a native English-speaking co-author to thoroughly revise the grammar of this manuscript.”
 
영어가 모국어가 아닌 연구자가 영문 저널에 논문을 투고했을때 흔히 듣게 되는 리뷰 내용이다. 아마 국내 연구자라면 왜 우리가 “South Korea”에 대한 사례를 봐야하는지에 대한 지적까지 추가될 수 있을 것 같다. 이와 관련해서 비영어권 연구자에게 어떤 방식으로 리뷰할 것인지를 조언하는 사이언스지 글

연구가 정상적인 영어로 작성되지 않은 경우 문법 오류를 수정하고 작문을 개선하는 것이 좋습니다. 그러나 당신은 영어가 모국어가 아닌 사람들에 대한 순교자나 구세주가 아니라는 것을 기억하십시오. 친절하게 대하십시오. 예를 들어,“저는 저자가 여기에서 의사 소통하려고하는 내용을 이해할 수 없습니다.”라고 쓸 수 있습니다. “영어에 능숙한 전문적인 능력을 가진 사람”의 도움을 제안 할 수도 있습니다. “영어 원어민”을 요구하지 마십시오. 그것은 훌륭한 연구자가 되는 것과 동의어가 아닙니다.[expand title=eng]
if the paper is not written in sound English, it is OK to correct grammatical errors and help improve the writing. But remember that you are not a martyr or the savior of people who did not grow up speaking English. Be kind. For example, you can write, “I cannot understand what the authors are trying to communicate here.” You can also suggest editing help from someone with “full professional proficiency in English.” Don’t demand “a native English speaker”; that is not synonymous with being a good writer.[/expand]

How Emotional Marketing Can Drive Business Growth
knowledge.wharton.upenn.edu · by Jul 19, 2018 North America

최근 유행하는 버미큘라 냄비에 대한 이야기를 소개하고 있다.

고객에게 소구할 때 두 가지 요소는 특히 중요한 영향력을 가질 수 있다. 1) 제품 또는 브랜드의 감각적 호소력과 2) 디자인 및 미학이다. 마케팅 회사 베인 앤 컴퍼니 (Bain & Co.)는 이러한 요소가 소비자가 제품을 다른 사람들에게 추천하는 방법 측정하는 지표인 Net Promoter Score에 대해 40 %의라는 놀랄만한 기여를 한다고 추정한다. 이는 고객에 대한 제품의 감정적인 영향을 정의하는데 도움이 되기 때문이다. 그것이 불안을 줄이고, 만족스러움이나 향수를 느끼게하고, 즐거운 디자인 미학을 가지며, 사용자에게 보상을 주거나 즐겁게 해주는가? 이러한 감정적인 효과는 NPS를 통한 예츠가에서 제품의 기능보다 두 배나 강력하다.[expand title=eng]
When it comes to appealing to customers, two elements in particular can have the most impact: a product or brand’s sensory appeal, and its design and aesthetics. Marketing firm Bain & Co. estimates that these elements contribute an eye-opening 40 percent to the product’s Net Promoter Score, an index that measures how willing consumers would be to recommend a product to others. That’s because they help define the product’s emotional impact on customers: Does it reduce anxiety, give a sense of wellness or nostalgia, have pleasing design aesthetics, and reward or entertain the user? Together, these emotional effects are twice as powerful as a product’s functionality in predicting its NPS.[/expand]

열정을 찾으라는 말이 나쁜 조언인 이유
newspeppermint.com · by veritaholic

심리과학(Psychological Science)에 곧 소개될 그들의 연구는, 태어날 때 부터 그 사람의 관심사가 고정되어 있다는 “관심사 고정설”을 믿는 사람과 누구나 자신의 관심사를 키울 수 있다는 “성장설”을 믿는 사람들 사이의 차이를 보았습니다.

이들은 이런 마음가짐의 차이가 어떤 결과를 만드는지를 알기 위해, 전공이나 직업에 있어 열정을 느낄 수 있는 일을 찾으라는 조언을 여러 번 들은 바 있는 학부생들을 대상으로 일련의 실험을 수행했습니다.

우선 그들은 학생들을 수학과 과학에 관심을 가진 “이과(techy)”와 인문학, 예술에 관심을 가진 “문과(fuzzy)”로 나누었고, 각각에게 한 사람의 관심사는 바뀌지 않는다는 주장에 얼마나 동의하는지를 물었습니다. 이후 그들은 자신의 관심사와 맞지 않는 내용의 글, 곧 문과에게는 알고리듬의 미래에 대한 글을, 이과에게는 데리다에 대한 글을 읽게 했습니다. 그 결과, 관심사가 바뀌지 않는다고 생각한 학생들일수록 자신이 읽은 글에 관심을 덜 나타냈습니다.

관심사가 변하지 않는다는 생각은 어려운 문제에 직면했을 때 도피하게 만들어주는 오귀인(misattribution)이 되지 않는가 하는 생각이 든다.

어떻게 지루함이 당신을 더 창의적으로 만들까요?
By Jisukim, newspeppermint.com

뉴스 페퍼민트에서 번역한 Wired 기사. 지루한 사람들이 더 창의적인 아이디어를 많이 떠올렸다는 내용.

이는 최근 이루어진 흥미로운 두 연구에서 나온 결과입니다. 그중 한 연구에서, 연구자들은 실험 집단의 참가자들에게 전화번호부에서 번호를 베끼는 지루한 일을 한 뒤 컵 두 개를 어떻게 사용할지 등에 대한 창의적인 사고를 요구하는 시험을 치르게끔 했습니다. 결과는 어땠을까요? 지루한 작업을 했던 실험 참가자들은 지루해하지 않던 통제 집단의 참가자보다 더 많은, 창의적인 아이디어를 떠올렸습니다. 다른 연구의 참가자 역시 따분한 컴퓨터 화면 보호 프로그램을 쳐다본 뒤에 “연관 사고” 단어 시험에서 더 많은 대답을 했습니다.

The Hidden Side Effects of Recommendation Systems
By Author Guidelines, sloanreview.mit.edu

추천시스템의 부작용으로 의도하지 않은 결과가 발생할 수 있다는 내용을 소개. 추천시스템은 단순하게 소비자의 취향을 반영하는 것을 넘어 실제로 취향을 형성하기도 한다고 말한다.

사이트에 전문이 나오지는 않지만 살펴보니 연구자들에 의해 임의로 주어진 추천등급을 바탕으로 사람들에게 지불의사를 물었을 때 (1-5등급 기준) 추천등급 1개 상승당 지불의사가 12-17% 높아진다는 내용. 두 번째 실제 추천시스템 기반 실험에서는 1개 상승당 10-13% 증가. 대략 별 1개 상승 당 8-12% 정도의 지불의사가 증가한다는게 실험 내용.

Fake news on Twitter during the 2016 U.S. presidential election
By Nir Grinberg, Network Science Institute, Northeastern University, Boston, Ma, Usa., science.sciencemag.org

2016년 선거 기간 동안 가짜 뉴스가 확산되었다. 그린버그(Grinberg et al.) 외 연구자는 트위터(Twitter) 계정을 특정 유권자에게 매칭하여 누가 가짜 뉴스에 노출되었는지, 가짜 뉴스를 퍼뜨린지, 가짜 뉴스가 사실 뉴스와 어떻게 상호 작용했는지 트위터 데이터를 분석했다. 가짜 뉴스는 모든 뉴스 소비의 약 6%를 차지했지만 매우 집중되었다. 1%의 이용자가 80%의 가짜 뉴스에 노출되었으며, 0.1%의 이용자가 공유되는 80%의 가짜 뉴스에 책임이 있었다. 흥미롭게도 가짜 뉴스는 보수적인 유권자들에게 가장 집중되었다.[expand title=eng]
There was a proliferation of fake news during the 2016 election cycle. Grinberg et al. analyzed Twitter data by matching Twitter accounts to specific voters to determine who was exposed to fake news, who spread fake news, and how fake news interacted with factual news (see the Perspective by Ruths). Fake news accounted for nearly 6% of all news consumption, but it was heavily concentrated—only 1% of users were exposed to 80% of fake news, and 0.1% of users were responsible for sharing 80% of fake news. Interestingly, fake news was most concentrated among conservative voters.

[/expand]

청소년들이 온라인에 넘쳐나는 포르노를 보고 무엇을 배우게 될까?

포르노가 청소년들에게 미치는 영향에 대해 다양한 이야기를 하고 있는 뉴욕타임즈 기사. 뉴스 페퍼민트 번역.

그런 동영상을 본다고 구체적으로 청소년의 행동이 어떻게 바뀌는지는 알 수 없습니다. 포르노를 더 많이 보는 청소년들이 상대적으로 더 어린 나이에 첫 섹스를 하고, 성에 대한 고정관념도 더 강하게 형성되며, 또래보다 성에 관한 관계 전반에서 훨씬 애정표현을 덜 한다는 몇몇 연구가 있기는 하지만, 이는 상관관계를 나타낸 것일 뿐 인과관계는 밝혀내지 못했습니다. 하지만 설문조사 결과를 보면 청소년들의 성생활 자체가 바뀌고 있는 것 같기도 합니다. 허버닉 교수가 공저자로 참여해 학술지 <성 의학>에 실린 논문에 인용된 미국인의 성생활에 관해 최대 규모로 치러진 조사 결과를 보면, 2009년 18~24세 여성 가운데 항문 성교를 해봤거나 시도해봤다고 답한 이들은 40%로 나타났습니다. 1992년 같은 질문에 그렇다고 답한 여성이 16%에 불과했던 것과 비교하면 큰 폭으로 늘어난 겁니다.

특정 단어의 의미가 변했다는 사실만으로도 어느 정도 예측해 볼 수 있는 사실이지 않을까 싶다.

First Evidence That Online Dating Is Changing the Nature of Society MIT Technology Review · by Emerging Technology from the arXiv

온라인 데이팅 서비스가 가져오는 사회적 본질의 변화에 대한 글. 오늘날 결혼의 1/3이 온라인을 통해 발생. 글에서 연구결과가 아래의 사실을 증명해주는 것은 아니지만 이러한 경향과 일치되는 모습을 보인다고 설명.

“Match.com과 같이 1995 년 처음 데이트하는 웹 사이트가 출시 된 직후, 인종 간 커플에 의해 생성 된 새로운 결혼의 비율이 급속하게 증가했다는 점이 흥미롭습니다.” 결혼 생활의 강도에 대한 연구에 따르면 온라인으로 만난 결혼 한 부부는 전통적으로 만난 사람들보다 이혼률이 낮다는 증거가 있습니다.[expand title=eng] “It is intriguing that shortly after the introduction of the first dating websites in 1995, like Match.com, the percentage of new marriages created by interracial couples increased rapidly,” Research into the strength of marriage has found some evidence that married couples who meet online have lower rates of marital breakup than those who meet traditionally.[/expand]

연구는 여기에서 다운로드.