How People Can Create—and Destroy—Value with Generative AI
BCG
보스턴 컨설팅 그룹에서 나온 생성형 인공지능에 관한 실험 연구. 추가 설명이 조금 필요하기는 하지만 간단한 요약은 아래와 같다.
최초의 과학적 실험에 따르면 사람들은 제너레이티브 AI가 엄청난 가치를 창출할 수 있는 분야에서는 이를 불신하고, 그렇지 않은 분야에서는 지나치게 신뢰하는 것으로 나타났습니다.
- 실험 참가자의 약 90%가 창의적인 아이디어 발상을 위해 GenAI를 사용했을 때 업무 성과가 향상되었습니다. 사람들은 GPT-4의 결과물을 편집하려고 시도하지 않았을 때 가장 좋은 성과를 냈습니다.
- 도구의 현재 역량을 벗어난 비즈니스 문제 해결 작업을 할 때, 많은 참가자가 GPT-4의 잘못된 결과를 액면 그대로 받아들였습니다. 이들의 성과는 이 도구를 전혀 사용하지 않은 사람들에 비해 23% 더 나빴습니다.
- 제너레이티브 AI를 도입하는 것은 엄청난 변화 관리 노력입니다. 리더의 역할은 사람들이 새로운 기술을 올바른 방식으로 올바른 업무에 사용하도록 돕고, 끊임없이 확장되는 GenAI의 영역에 맞서 지속적으로 조정하고 적응하도록 돕는 것입니다.
SSRN에 올라온 페이퍼가 자세한 내용을 담고 있다. LLM 관련 연구로 여러 생각할만한 내용을 보여주지 않나 싶다. 조금 더 자세한 설명.
- 창의적 과제와 문제해결 과제를 해결하는 실험에서 생성형 인공지능은 창의적 과제에 활용했을 때 작업 효율을 높이는 것으로 나타남(기준 대비 40% 향상)
설계: 3집단 실험설계 방식. 사전-사후 평가. 과제에 관해 창의성, 설득력, 분석적사고, 전반적 글쓰기 측면에서 10점 척도로 평가하여 평균 활용. 채점은 블라인드 방식으로 BCG컨설턴트와 학업 과제 채점 경험 있는 경영대학생으로 구성 - 생성형 인공지능은 성과를 높이기도 하지만 다수 참가자에게서 잘못된 결과를 그대로 받아들이는 경향도 나타남. 그리고 이러한 양날의 검 효과는 모든 수준의 숙련도를 가진 대상에게서 확인됨. 다만 기본 숙력도가 낮을 수록 영향력이 큼
- 기술적 한계에 대해 설명했으나 부정적 영향력은 사라지지 않았음. 오히려 교육을 받은 사람은 평균적으로 더 나쁜 성적을 보임
설계: 30분간 교육. 효과적으로 사용하는 법을 말하고, 보여주고, 실행하는 코스로 설계. 모범 사례와 문제해결 상황에서 활용시 어려움과 함정에 대한 정보, 추론 실패하는 사례를 보여주며 지나치게 의존하지 않도록 주의를 줌 - 개인의 성과 분포에 영향을 줌. 즉 전체 분포가 높은 수준의 성과를 향해 이동. GPT-4는 창의적 제품 혁신 과제에서 매우 높은 수준의 성과를 달성하기에 일반인이 이 결과물을 개선하려고 노력하면 오히려 품질이 하락하는 결과가 나타남 (초안과 10%차이가 증가할때마다 품질 순위는 17%p 하락)
- 창의성의 함정. 모두가 비슷한 응답을 제공하기에 개인적 결과물은 향상되지만 집단적으로는 창의성이 사라질 수 있음. 생성형 인공지능의 활용은 아이디어의 다양성을 낮추는 결과를 가져올 수 있음. 인터뷰에서도 비슷한 응답을 확인. 기술에 의존하면 창의성을 억제할 수 있을 것이라고 응답. “다른 기술과 마찬가지로 사람들은 기술에 지나치게 의존할 수 있습니다. GPS는 처음 출시되었을 때 내비게이션에 큰 도움을 주었지만, 오늘날 사람들은 GPS 없이는 운전조차 할 수 없습니다. 사람들이 기술에 지나치게 의존하게 되면 예전에 가졌던 능력을 잃게 됩니다.”