Generative AI Can Harm Learning

와튼스쿨에서 한 연구결과. 학습에 생성 인공지능 활용시 성과 향상을 가져오지만, 이러한 접근이 제거되었을 때 접근해보지 못한 학생에 비해 더 나쁜 성적을 보였다는 연구 결과. 즉 스스로 수행하는 능력이 더 나빠진다는 것을 시사한다. 후방카메라 있던 차를 운전하다 후방카메라가 없어지면 주차하기 어려운 것과 같다

생성형 인공지능(AI)은 인간의 업무 방식을 혁신할 준비가 되어 있으며, 이미 인간의 생산성을 크게 향상시킬 수 있음을 입증했습니다. 그러나 남아있는 중요한 질문은 생성형 AI가 학습, 즉 인간이 작업을 수행하면서 새로운 기술을 습득하는 방식에 어떤 영향을 미치는가입니다. 이러한 기술 학습은 특히 생성형 AI가 오류를 범할 수 있고 인간 전문가가 그 결과를 확인해야 하는 영역에서 장기적인 생산성 향상에 중요합니다. 우리는 고등학교 수학 수업 맥락에서 생성형 AI, 특히 OpenAI의 GPT-4가 인간의 학습에 미치는 영향을 연구했습니다.

거의 천 명의 학생들이 참여한 현장 실험에서, 우리는 표준 ChatGPT 인터페이스를 모방한 튜터(GPT Base라고 함)와 학습을 보호하도록 설계된 프롬프트가 있는 튜터(GPT Tutor라고 함) 두 가지 GPT 기반 튜터를 배포하고 평가했습니다. 이 튜터들은 3개 학년 각각의 커리큘럼 중 약 15%를 차지합니다. 이전 연구와 일치하게, 우리의 결과는 GPT-4에 대한 접근이 성과를 크게 향상시킨다는 것을 보여줍니다(GPT Base의 경우 48% 향상, GPT Tutor의 경우 127% 향상).

그러나 우리는 추가로 접근이 이후에 제거되었을 때, 학생들이 실제로 접근 권한이 전혀 없었던 학생들보다 더 나쁜 성과를 보인다는 것을 발견했습니다(GPT Base의 경우 17% 감소). 즉, GPT-4에 대한 접근이 교육 결과에 해를 끼칠 수 있습니다. 이러한 부정적인 학습 효과는 GPT Tutor에 포함된 안전장치에 의해 크게 완화됩니다.

우리의 결과는 학생들이 연습 문제 세션 동안 GPT-4를 “지팡이”로 사용하려고 시도하며, 성공했을 때 스스로 수행하는 능력이 더 나빠진다는 것을 시사합니다. 따라서 장기적인 생산성을 유지하기 위해서는 인간이 계속해서 중요한 기술을 학습할 수 있도록 생성형 AI를 배포할 때 주의해야 합니다. *HB, OB, AS가 동등하게 기여함

키워드: 생성형 AI, 인적 자본 개발, 교육, 인간-AI 협력, 대규모 언어 모델