We’re Entering Uncharted Territory for Math
The Atlantic

순수 수학에서 LLM이 어떤 의미가 있을지에 관한 글. 수학자 테런스 타오(Terence Tao) 인터뷰. GPT4 o1 모델을 보통이지만 완전히 무능하지 않은 대학원생에 비교한 말이 화제가 된 바 있다. 하지만 의미가 곡해된 부분이 있다며 아래와 같이 이야기한다.

제가 해결할 수 있는 문제를 주고 모델을 안내하려고 했습니다. 먼저 힌트를 주었고, 모델은 힌트를 무시하고 다른 작업을 했는데, 작동하지 않았습니다. 제가 이것을 설명하자, 모델은 사과하고 “좋아요, 당신 방식대로 할게요.”라고 말했습니다. 그런 다음 제 지시를 상당히 잘 수행했지만, 다시 막혔고, 저는 다시 수정해야 했습니다. 모델은 가장 영리한 단계를 결코 알아내지 못했습니다. 그것은 모든 일상적인 일을 할 수 있었지만, 매우 상상력이 부족했습니다.

대학원생은 과제를 완전히 해결하지 못하더라도 학습하고 수정할 잠재력이 있다고 보지만 o1은 지속적인 학습과 다르다고 말한다.

그렇다면 어디에 이를 활용할 수 있을까? 이와 관련해 인터페이스로서 LLM에 대한 언급을 한다.

증명 지원 도구를 사용하면 함께 일하는 사람을 신뢰할 필요가 없습니다. 이 프로그램이 100% 보장을 제공하기 때문입니다. 그러면 지금은 실제로 존재하지 않는 공장 생산 유형의 산업 규모 수학을 할 수 있습니다. 한 사람은 현대 공급망과 같이 특정 유형의 결과만 증명하는 데 집중합니다.
문제는 이러한 프로그램이 매우 까다롭다는 것입니다. 전문 언어로 주장을 작성해야 합니다. 그냥 영어로 작성할 수는 없습니다. AI는 인간 언어에서 프로그램으로 일부 번역을 할 수 있습니다. 한 언어를 다른 언어로 번역하는 것은 거의 대규모 언어 모델이 하도록 설계된 것과 정확히 같습니다. 꿈은 챗봇과 대화를 나누며 증명을 설명하고, 챗봇이 진행하면서 증명 시스템 언어로 변환하는 것입니다.
Wong: 그러니까 챗봇은 지식이나 아이디어의 원천이 아니라 인터페이스 방식이라는 거죠. Tao: 네, 정말 유용한 접착제가 될 수 있습니다.