AI error rates, validation and leverage
Benedict Evans

내 생각과 같은 내용. AI를 연구에 활용하는 경우에도 비슷한 접근을 할 수 있을텐데 이러한 고민 없이 사용되는 경향이 있는 듯. 레버리지라는 관점에 더 초점 맞추어야한다는 말도 인상적이다. 즉, LLM이 회계를 할 수 있는지 질문이 말하는 것처럼 ‘대체’에 초점을 맞추는 것보다 ‘주니어+모델+검증’처럼 조직 내 역할 재배치가 더 현실적인 시나리오일 수 있다고 말한다.

어떤 질문들은 ‘틀린 답’이 거의 없고 ‘정답’도 사실상 없다. 더 낫거나 덜 낫기만 있다. 기존의 결정론적 소프트웨어는 이런 문제를 잘 못 다루지만, 생성형 AI는 매우 잘한다.

반대로, 답이 이진적으로 맞거나 틀릴 수 있는 질문들이 있고, 여기서는 생성형 AI의 오류율이 문제가 된다. 이 경우 답을 단어 단위, 줄 단위로 검증해야 한다.