Eloundou, T., Manning, S., Mishkin, P., & Rock, D. (2024). GPTs are GPTs: Labor market impact potential of LLMs. Science, 384(6702), 1306-1308.

라벨링 하는 과정에서 주관이 개입될 여지가 있기에 결과를 얼마나 신뢰할 수 있을지는 모르겠지만 혹시 연구방법 측면에서 참고가 될까 싶어서.

우리는 대형 언어 모델(LLM)과 관련 기술들이 작업에 미치는 잠재적 영향을 평가하기 위한 프레임워크를 제안합니다. 이 프레임워크는 작업자가 직무에서 수행하는 작업과의 관련성을 고려하여 설계되었습니다. 이 프레임워크를 인간과 LLM을 사용하여 적용한 결과, 간단한 인터페이스와 일반 교육을 갖춘 LLM이 직무의 절반 이상에 영향을 미칠 수 있는 직업은 약 1.8%로 추정됩니다. 그러나 LLM 기능을 보완하는 현재 및 미래의 소프트웨어 개발을 고려하면, 이 비율은 46%를 약간 넘는 수준으로 증가합니다. 생성적 사전 학습 변환기(GPT)와 같은 LLM의 집합적 특성은 이들이 다른 “GPT” (범용 기술)의 핵심 특성을 가지고 있음을 강하게 시사합니다. 우리의 연구는 LLM과 보완 기술이 노동 시장에 미칠 수 있는 잠재적 영향을 다루기 위한 강력한 사회적 평가와 정책 조치의 필요성을 강조합니다.