GPT-4 Is a Reasoning Engine
By Dan Shipper

GPT 모델을 비판하는 사람들의 주요 이야기 중 하나는 확률적으로 다음 단어를 추정하는 앵무새일 뿐이라는 점이다. 하지만 사고(thinking)에는 추론(reasoning)과 지식(knowledge)이 있다는 점을 생각해본다면 GPT가 어떻게 사용될 수 있을것이라는 점을 다시 생각해볼 수 있다 말한다.

예를 들면, ChatGPT에서 특정 인물에 대한 정보를 물으면 부정확한 정보를 제공해주지만, 인터넷에 접속할 수 있는 ChatGPT는 추론이 아닌 웹 조사를 통해 정확한 답변을 추출한다. 저자는 이를 통해 모델의 발전만큼 지식 데이터베이스의 발전이 중요하다 말한다. 따라서 자신의 생각을 정리하고 저장하고 분류하는 사람들은 이러한 모델을 통해 더 높은 효용을 가질 수 있을 것이라는 것이 저자의 주요 생각이다.

우리는 입력의 중요성을 과소평가하는 경향이 있습니다. 이러한 결과를 얻기 위해 입력한 정보가 무엇인지 말입니다. 그 답은 우리가 분석을 위해 제공하는 정보에 크게 좌우됩니다. 시작점만큼 강력합니다.
우리는 지식의 한계, 즉 얼마나 많은 정보가 잠겨 있고 이러한 시스템에 액세스할 수 없는지에 대해 충분히 주의를 기울이지 않습니다. 또한 정보 소스를 탐색하고 관련 사실을 찾는 데 시간과 컴퓨팅 비용이 얼마나 드는지 잊고 있습니다. 마지막으로 적시에 모델에 대한 관련 정보를 표시하는 것이 어렵다는 점을 과소평가합니다.
그러나 이러한 종류의 문제를 해결하는 것은 기본 모델의 추론 기능을 해결하는 것만큼이나 근본적입니다.

벡터 데이터베이스에 대한 부분도 관심을 가져볼만한 내용이 아닌가 싶다.