OpenAI’s CEO Says the Age of Giant AI Models Is Already Over
Wired

새로운 내용은 아니지만 남겨놓는다

알트만의 발언은 GPT-4가 OpenAI의 모델 크기를 키우고 데이터를 더 많이 공급하는 전략에서 나올 마지막 주요 진전일 수 있음을 시사합니다. 그는 어떤 연구 전략이나 기술이 그 자리를 대신할지에 대해서는 언급하지 않았습니다. GPT-4를 설명하는 논문에서 OpenAI는 모델 크기를 확대하는 데서 나오는 수익이 점점 줄어든다는 추정치를 제시했습니다. 알트만은 또한 회사가 데이터 센터를 얼마나 빨리 구축할 수 있는지에 물리적 한계가 있다고 언급했습니다.

Cohere의 공동 창립자이자 이전에 구글에서 AI 작업을 했던 닉 프로스트는 알트만의 ‘크기를 키우는 것이 무한정으로는 효과가 없을 것’이라는 느낌에 공감합니다. 그는 GPT-4와 그 경쟁자들의 핵심인 트랜스포머 모델의 발전은 크기 확장 이상의 것에 달려 있다고 믿습니다. 프로스트는 새로운 AI 모델 디자인이나 아키텍처, 그리고 인간의 피드백을 기반으로 한 추가 튜닝이 많은 연구자들이 이미 탐구하고 있는 유망한 방향이라고 말합니다.