Apollo: An Exploration of Video Understanding in Large Multimodal Models

대규모 멀티모달 모델(LMM)에서 비디오 이해에 초점을 맞춘 모델 아폴로. 1시간 분량의 동영상을 효율적으로 인식할 수 있다고 말한다. 아래는 초록.

대규모 멀티모달 모델(LMM)에 비디오 인식 기능을 빠르게 통합했음에도 불구하고, 비디오 이해를 주도하는 기본 메커니즘은 여전히 ​​잘 이해되지 않았습니다. 결과적으로 이 도메인의 많은 설계 결정은 적절한 정당화나 분석 없이 내려집니다. 이러한 모델을 훈련하고 평가하는 데 드는 높은 연산 비용과 제한된 공개 연구가 결합되어 비디오 LMM의 개발을 방해합니다. 이를 해결하기 위해 LMM에서 비디오 이해를 효과적으로 주도하는 요소를 파악하는 데 도움이 되는 포괄적인 연구를 제시합니다. 비디오 LMM 연구와 관련된 높은 연산 요구 사항에 대한 주요 기여 요인을 비판적으로 검토하고, 더 작은 모델과 데이터 세트(최대 임계 크기)에서 내린 설계 및 훈련 결정이 더 큰 모델로 효과적으로 전환되는 스케일링 일관성을 발견합니다. 이러한 통찰력을 활용하여 비디오 샘플링, 아키텍처, 데이터 구성, 훈련 일정 등을 포함한 비디오 LMM의 많은 비디오 관련 측면을 탐구했습니다. 예를 들어, 훈련 중 fps 샘플링이 균일한 프레임 샘플링보다 훨씬 바람직하고 어떤 비전 인코더가 비디오 표현에 가장 적합한지 보여주었습니다. 이러한 결과를 바탕으로 다양한 모델 크기에서 우수한 성능을 달성하는 최첨단 LMM 제품군인 Apollo를 소개합니다. 당사 모델은 1시간 분량의 비디오를 효율적으로 인식할 수 있으며, Apollo-3B는 LongVideoBench에서 인상적인 55.1을 기록하여 대부분의 기존 7B 모델을 앞지릅니다. Apollo-7B는 MLVU에서 70.9, Video-MME에서 63.3을 기록한 7B LMM과 비교했을 때 최첨단입니다.

Google의 새로운 동영상 생성기인 Veo 2, OpenAI의 Sora보다 앞서 있다고 평가받는다. 레딧에 올라온 여러 동영상 생성기 비교 영상

(당연한 이야기처럼 보이지만) 그는 사전 학습이 AI 발전을 주도했지만, 컴퓨팅의 성장에도 불구하고 데이터 성장의 한계로 인해 궁극적으로 끝날 것이라고 예측했다. 아래는 기계요약

Ilya Sutskever: Sequence to Sequence Learning with Neural Networks at NeurIPS 2024 – 5가지 핵심 요약

1. 딥러닝의 발전과 확장
   Ilya Sutskever는 10년 전 NeurIPS 2014에서 발표했던 연구를 되돌아보며, 대규모 신경망과 데이터가 성능을 보장한다는 “스케일링 가설”이 실제로 유효했음을 강조했다. 초기에는 10층짜리 신경망을 사용하여 인간이 순간적으로 수행할 수 있는 작업을 재현하는 것을 목표로 삼았으며, 현재는 이를 넘어 초대형 신경망과 사전 학습(pre-training)이 AI 발전의 핵심이 되었다고 평가했다.
2. Auto-Regressive 모델과 기계 번역
   그의 연구는 Auto-Regressive 모델을 통해 다음 토큰을 효과적으로 예측하면 올바른 확률 분포를 포착할 수 있다는 개념을 발전시켰다. 이를 기반으로 초기 신경망 번역 모델이 등장했으며, 이후 Transformer 모델이 발전하면서 자연어 처리의 핵심 기술이 되었다.
3. 사전 학습의 한계와 미래 전망
   그는 사전 학습이 AI 발전을 주도했지만, 데이터 성장의 한계로 인해 궁극적으로 끝날 것이라고 예측했다. 인터넷에 존재하는 데이터는 유한하며, AI가 학습할 새로운 데이터가 부족해질 가능성이 높다. 이에 따라 “Synthetic Data(합성 데이터)”, “Inference-time Computation(추론 시 계산)”, “AI Agents(자율 에이전트)”와 같은 새로운 연구 방향이 필요하다고 제안했다.
4. 초지능(Superintelligence)과 AI의 예측 불가능성
   현재 AI 모델은 매우 뛰어난 성능을 보이지만 여전히 불완전하며, 진정한 의미의 ‘에이전트(agentic)’가 아니다. 그러나 앞으로는 AI가 실제로 추론(reasoning)을 수행하고, 자기 인식(self-awareness)을 갖춘 시스템으로 발전할 가능성이 있다. 그는 AI가 논리적으로 사고할수록 예측이 어려워질 것이며, 결국 인간보다 더 높은 수준의 지능을 가지게 될 것이라고 주장했다.
5. AI의 인권과 존재 방식에 대한 철학적 논의
   AI가 인간과 공존하는 방식, 나아가 AI에게 권리를 부여할 것인가에 대한 논의가 필요하다고 강조했다. 현재로서는 AI가 독립적인 존재로 성장할 것인지, 인간과 어떤 관계를 맺을 것인지 예측하기 어려우나, 사회적, 철학적, 정책적 논의가 활발하게 이루어져야 한다고 지적했다.