Delving into ChatGPT usage in academic writing through excess vocabulary
Kobak, D., Márquez, R. G., Horvát, E. Á., & Lause, J. (2024). Delving into ChatGPT usage in academic writing through excess vocabulary. arXiv preprint arXiv:2406.07016. https://doi.org/10.48550/arXiv.2406.07016
연구에서는 ‘delves’라는 단어는 사용 빈도가 25.2배 증가했으며, ‘showcasing’은 9.2배, ‘underscores’는 9.1배 증가했다고 말한다.
최근의 대형 언어 모델(LLM)은 인간 수준의 성능으로 텍스트를 생성하고 수정할 수 있으며, ChatGPT와 같은 시스템에서 널리 상용화되었습니다. 이러한 모델에는 명백한 한계가 있습니다: 부정확한 정보를 생성할 수 있고, 기존 편견을 강화하며, 쉽게 악용될 수 있습니다. 그럼에도 불구하고 많은 과학자들이 학술 논문 작성에 LLM을 사용하고 있습니다. 현재 학술 문헌에서 LLM 사용이 얼마나 널리 퍼져 있는지를 조사하기 위해, 우리는 학술 LLM 사용에 대한 어떤 가정도 없는 공정하고 대규모의 접근 방식을 사용했습니다. 우리는 2010년부터 2024년까지의 1,400만 개의 PubMed 초록에서 어휘 변화를 연구하여 LLM의 등장으로 인해 특정 스타일 단어의 빈도가 급격히 증가한 것을 보여주었습니다. 초과 단어 사용에 기반한 우리의 분석에 따르면, 2024년 초록의 최소 10%가 LLM으로 처리된 것으로 나타났습니다. 이 하한선은 학문 분야, 국가, 학술지에 따라 달랐으며, 일부 PubMed 하위 집합에서는 최대 30%에 달했습니다. 우리는 LLM 기반 글쓰기 도우미의 등장이 과학 문헌에 전례 없는 영향을 미쳤으며, 이는 Covid 팬데믹과 같은 주요 세계 사건의 영향을 능가한다는 것을 보여줍니다.