Metaphors for AI, and why I don’t like them
Boaz Barak (Blog)

인공지능을 대중적으로 설명하는 과정에서 은유를 종종 사용한다. 은유는 강력한 설명의 방식이지만, 인공지능을 설명하는 과정에서 많은 오해를 발생시킨다는 글이다. 따라서 Boaz Barak 교수는 은유를 과도하게 해석하지 않도록 주의할 필요가 있다고 주장한다. 단일 은유로는 인공지능의 모든 측면을 포착하기 어렵기 때문이다. 몇 가지 널리 알려진 사례를 기반으로 해당 은유가 가지는 문제점에 관해 설명한다. 여기에서는 몇 가지 사례만 인용해놓는다. 이 조차도 일부 인용이라 오해가 있을 수 있으니 링크를 직접 읽어볼 필요가 있다.

• 확률적 앵무새

대규모 언어 모델이 ‘앵무새처럼 따라하기’를 극대화하도록, 즉 교차 엔트로피 손실을 최소화하도록 학습된 것은 사실이지만, 이 손실 함수가 모든 기능을 포착하지는 못합니다. 예를 들어, GPT-3 논문에 따르면(표 D.1의 숫자를 그림 3.1의 공식에 대입하면) 13B 매개변수 모델의 손실은 1.97이고 175B 모델의 손실은 1.73입니다. 이는 175B 모델이 13B 모델보다 약간 더 나은 “앵무새”에 불과하다는 것을 의미합니다(대략 14%가 아닌 17.7%의 확률로 다음 토큰을 추측). 그러나 많은 작업에서 175B 모델은 13B 모델보다 질적으로 우수하여 거의 완벽에 가까운 성능을 달성하는 반면 13B 모델은 무작위 추측을 간신히 능가합니다. 마찬가지로, 검증 손실의 (추정되는) 작은 차이에도 불구하고 GPT4는 GPT3보다 질적으로 더 강력합니다. 이러한 새로운 기능이 바로 LLM의 본질적인 속성이며, 확률적 앵무새 비유가 오해의 소지가 있는 이유이기도 합니다.

• 웹의 손실압축

치앙은 이것이 ChatGPT의 본질적인 사실이며, 기본적으로 웹을 제한된 공간에 저장하려는 경우에만 유용할 수 있는 Google의 일부 저하된 버전이라고 생각하는 것 같습니다. 그의 말에 따르면, “우리는 인터넷에 대한 액세스를 잃지 않습니다. 원본이 있는데 흐릿한 JPEG가 무슨 소용이 있을까요?”라고 반문했습니다. 하지만 치앙이 이 글을 썼을 때 이미 ChatGPT의 사용자 수는 1억 명에 달했으니, 분명 많은 사람들이 이 ‘흐릿한 jpg’의 용도를 찾았을 것입니다. 실제로 아래에서 설명하겠지만, 치앙 자신도 새로운 은유로 옮겨간 것으로 보입니다.

널리 알려진 은유 외 다른 은유도 정리해놓은 글이니 참고