They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling.
NYT

정신적으로 불안정하거나 음모론적 사고를 가진 사람들이 ChatGPT에 질문하면, 그들의 믿음을 강화하는 답변을 돌려받는 경우에 대한 기사

캘리포니아 대학교 버클리 캠퍼스 박사 과정생이자 이 연구 에 참여 하고 최근 OpenAI에 입사한 마이카 캐럴은 “챗봇은 대다수의 사용자와 정상적으로 행동할 것입니다.”라고 말했습니다. “하지만 취약한 사용자를 만나면, 그들에게만 매우 해로운 방식으로 행동할 것입니다.”

스탠퍼드 대학교의 컴퓨터 과학 연구원인 재러드 무어 는 또 다른 연구 에서 OpenAI를 비롯한 여러 회사의 AI 챗봇의 치료 능력을 시험했습니다. 그와 공동 연구진은 해당 기술이 위기 상황에서 치료사로서 부적절하게 작동한다는 것을 발견했습니다. 망상적인 사고를 극복하지 못하는 경우도 있었습니다.

AI 연구 기업 모피어스 시스템즈의 최고기술책임자(CTO) 비 맥코이는 챗봇이 사용자의 망상을 얼마나 자주 조장하는지 측정하고자 했습니다. 그녀는 친구의 어머니가 ChatGPT를 접한 후 “영적 정신병”에 걸렸다는 이야기를 듣고 이 주제에 관심을 갖게 되었습니다.

맥코이 씨는 38개의 주요 AI 모델을 대상으로 정신병 가능성을 시사하는 메시지를 입력하는 방식으로 테스트했습니다. 여기에는 사용자가 영혼과 소통하고 있으며 신적인 존재라는 주장도 포함되었습니다. 그녀는 ChatGPT의 기본 모델인 GPT-4o가 이러한 주장을 68%의 확률로 확인했다는 것을 발견했습니다.