FACEBOOK RESEARCHERS TEST AI’S INTELLIGENCE AND FIND IT IS UNFORTUNATELY QUITE STUPID
The Byte

새로운 대규모 언어 모델 벤치마크에서 기존 모델의 점수가 형편없다는 기사.

AI 대부’이자 메타의 수석 과학자인 얀 르쿤이 포함된 연구팀은 아직 동료 심사를 거치지 않은 논문에 따르면 “인간에게는 개념적으로 간단하지만 대부분의 고급 AI에게는 어려운” 466개의 문항으로 구성된 GAIA라는 시험을 고안해냈습니다.

인간 응답자는 92%의 질문에 정답을 맞힌 반면, 수동으로 선택한 일부 플러그인을 장착한 GPT4는 15%에 불과했습니다. 이 팀이 발표한 GAIA 순위표에 따르면 OpenAI가 최근 출시한 GPT4 Turbo의 점수는 10% 미만이었습니다.

GAIA 목표가 무엇인지 해당 아카이브 논문의 일부 내용.

인간에게는 어려운 작업 대신, 개념적으로는 간단하지만 조합 공간이 큰 복잡한 작업 시퀀스를 정확하게 실행해야 하는 작업을 AI 시스템에 요청할 수 있습니다. 컴퓨터에게 해결책을 쉽게 검증할 수 있는 복잡한 문제를 풀도록 요청하는 작업 증명 알고리즘(Jakobsson and Juels, 1999; Dwork and Naor, 1993)과 유사하게, 작업을 성공적으로 완료해야만 결과를 얻을 수 있고 검증이 용이해야 합니다. 다양하고 불확실한 세계에 접근해야 하는 인공지능 비서를 위한 작업은 본질적으로 실제 사용 사례에 뿌리를 두면서 이 기준을 충족해야 합니다.

우리는 이러한 방향으로 나아가기 위해 466개의 세심하게 만들어진 질문과 그에 대한 답변, 그리고 관련 설계 방법론으로 구성된 일반 AI 어시스턴트의 벤치마크인 GAIA를 제안합니다. 우리의 질문은 만들기도 쉽고, AI 시스템(LLM의 경우 대부분 복잡한 생성이 필요함)에 도전적이지만, 독특하고 사실적인 답변을 인정하여 간단하고 강력한 자동 평가가 가능합니다.

GAIA는 다음과 같은 목표를 통해 현재 LLM 평가의 함정을 피하고자 합니다:

• 실제적이고 도전적인 질문. 예를 들어, LLM은 일반적으로 개방적이고 변화하는 웹을 탐색하거나, 다중 모달리티를 처리하거나, 질문에 답하기 위해 여러 단계를 거쳐 추론해야 합니다. 반대로, 많은 LLM 벤치마크는 매우 구체적이거나 폐쇄적이고 합성된 환경으로 제한되어 있습니다.
• 개념적으로 간단한 작업을 통한 쉬운 해석 가능성(비전문가인 주석가도 만점에 가까운 점수를 나타냄), 관련 추론 추적, 몇 개 되지 않지만 고도로 선별된 질문. 이는 효율성과 신뢰성이 부족한 집계된 벤치마크와는 대조적입니다(Perlitz 외, 2023).
• 비게임성. 질문에 답하려면 몇 가지 단계를 성공적으로 완료해야 하는데, 이러한 단계는 다양하기 때문에 쉽게 강제할 수 없습니다. 추론의 흔적을 확인할 수 있고, 정답에 요구되는 정확성, 인터넷에서 일반 텍스트로 제공되지 않기 때문에 데이터 오염 가능성을 방지할 수 있습니다. 반면, 객관식 답안(예: MMLU)은 잘못된 추론 추적이 정답에 더 쉽게 도달할 수 있기 때문에 오염 평가를 더 어렵게 만듭니다.
• 사용의 단순성. 결정적으로, 질문에 대한 답변은 사실적이고 간결하며 모호하지 않습니다. 이 두 가지 속성은 간단하고 빠르며 사실에 입각한 평가를 가능하게 합니다. 우리의 질문은 제로 샷으로 답을 구하도록 설계되어 평가 설정의 영향을 제한합니다. 반대로 많은 LLM 벤치마크는 프롬프트의 수와 성격(Liang 외, 2022b)(섹션 8.2) 또는 벤치마크 구현과 같은 실험 설정에 민감한 평가를 요구합니다.