Things we learned about LLMs in 2024
Simon Willison’s Weblog

좋은 글. 목록만 가져와서 인용해놓는다.

• GPT-4의 한계가 완전히 깨졌다
• 일부 GPT-4 모델은 내 노트북에서도 실행된다
• 경쟁과 효율성 증가 덕분에 LLM 가격이 폭락했다
• 멀티모달 비전(이미지 처리)은 보편화되었고, 오디오 및 비디오 모델도 등장하기 시작했다
• 음성과 실시간 카메라 모드는 SF에서 현실이 되었다
• 프롬프트 기반 애플리케이션 생성이 이미 일반화되었다
• 최고의 모델에 대한 보편적 접근은 몇 달 만에 끝났다
• “에이전트”는 여전히 제대로 구현되지 않았다
• 평가(Evals)는 정말 중요하다
• Apple Intelligence는 별로지만, Apple의 MLX 라이브러리는 뛰어나다
• 추론 확장형(reasoning) 모델이 부상했다
• 현재 최고의 LLM이 중국에서 600만 달러 미만의 비용으로 훈련되었을까?
• 환경적 영향이 개선되었다
• 환경적 영향이 훨씬 더 악화되었다
• 2024년은 “조악한 품질(sloppy)”의 해였다
• 합성 학습 데이터가 효과적으로 작동한다
• LLM 사용이 더 어려워졌다
• 지식이 극도로 불균등하게 분포되어 있다
• LLM은 더 나은 비판이 필요하다
• 2024년 내 블로그에서 “LLMs” 태그로 게시된 모든 글

The Real Lessons From Kodak’s Decline
MIT Sloan

디지털을 무시해서 망했다고 언급되는 코닥에 대한 사후분석. 재미있는 이야기. 사실은 적극적으로 디지털에 뛰어들었지만 쉽지 않았던 것으로 이야기한다. 즉, 단순 기술변화가 아닌 기술, 조직, 환경 변화의 복합적 결과로 설명.

핵심 기술이 범용 기술 플랫폼으로 대체될 가능성이 있는가?
디지털 기술이 산업에 미치는 영향은 무엇인가?
자본집약적 사업 구조를 어떻게 축소할 것인가?
생태계 내 파트너들의 변화가 기업의 장기적 이익에 어떤 영향을 미치는가?

OpenAI’s o3 model freaks out comp sci majors
Axios

기사에 조지아 공대 교수는 “새로할게 많으니 너무 걱정하지 말라”라고 이야기하지만 일정 수준에 도달하지 못하는 전공생은 (지금도 그렇지만) 지금보다도 더 어려워지겠다. 전공별로 부침이 있는걸 보면 인생 알기 힘들다

X의 한 사용자는 “CS 졸업생들은 솔직히 끝난 것 같다”고 말했다. 또 다른 사용자는 “진로를 바꿔야 할 수도 있다”고 언급했다. 한 사용자는 “이제 OpenAI의 o3가 나왔는데, CS 학부 신입생인 나는 어떻게 해야 하죠?”라고 “r/singularity” 서브레딧에서 질문했다. OpenAI에 따르면, o3는 한 수학 벤치마크에서 “인간 전문가” 수준보다 높은 점수를 기록했다. 또한, 코딩 벤치마크에서는 OpenAI의 최고 과학 책임자의 점수를 뛰어넘었다. 그리고 이 모델은 앞으로 더욱 발전할 것이다.

Comparing video generation AI to slicing steak, including Veo 2
byu/world_designer insingularity

Google의 새로운 동영상 생성기인 Veo 2, OpenAI의 Sora보다 앞서 있다고 평가받는다. 레딧에 올라온 여러 동영상 생성기 비교 영상

Apollo: An Exploration of Video Understanding in Large Multimodal Models

대규모 멀티모달 모델(LMM)에서 비디오 이해에 초점을 맞춘 모델 아폴로. 1시간 분량의 동영상을 효율적으로 인식할 수 있다고 말한다. 아래는 초록.

대규모 멀티모달 모델(LMM)에 비디오 인식 기능을 빠르게 통합했음에도 불구하고, 비디오 이해를 주도하는 기본 메커니즘은 여전히 ​​잘 이해되지 않았습니다. 결과적으로 이 도메인의 많은 설계 결정은 적절한 정당화나 분석 없이 내려집니다. 이러한 모델을 훈련하고 평가하는 데 드는 높은 연산 비용과 제한된 공개 연구가 결합되어 비디오 LMM의 개발을 방해합니다. 이를 해결하기 위해 LMM에서 비디오 이해를 효과적으로 주도하는 요소를 파악하는 데 도움이 되는 포괄적인 연구를 제시합니다. 비디오 LMM 연구와 관련된 높은 연산 요구 사항에 대한 주요 기여 요인을 비판적으로 검토하고, 더 작은 모델과 데이터 세트(최대 임계 크기)에서 내린 설계 및 훈련 결정이 더 큰 모델로 효과적으로 전환되는 스케일링 일관성을 발견합니다. 이러한 통찰력을 활용하여 비디오 샘플링, 아키텍처, 데이터 구성, 훈련 일정 등을 포함한 비디오 LMM의 많은 비디오 관련 측면을 탐구했습니다. 예를 들어, 훈련 중 fps 샘플링이 균일한 프레임 샘플링보다 훨씬 바람직하고 어떤 비전 인코더가 비디오 표현에 가장 적합한지 보여주었습니다. 이러한 결과를 바탕으로 다양한 모델 크기에서 우수한 성능을 달성하는 최첨단 LMM 제품군인 Apollo를 소개합니다. 당사 모델은 1시간 분량의 비디오를 효율적으로 인식할 수 있으며, Apollo-3B는 LongVideoBench에서 인상적인 55.1을 기록하여 대부분의 기존 7B 모델을 앞지릅니다. Apollo-7B는 MLVU에서 70.9, Video-MME에서 63.3을 기록한 7B LMM과 비교했을 때 최첨단입니다.

OpenAI delivers the jump?
Benedict Evans

오픈AI의 새로운 모델 O3가 복잡한 추론을 테스트하도록 설계된 ARC AGI 벤치에서 매우 높은 성적을 거두었다. GPT4o는 5%, O1은 20%, O3는 고효율로 76%, 더 많은 컴퓨팅 파워로 88%를 달성했다. 이를 두고 베네딕트 에반스가 쓴 칼럼에서 인상적인 말. People are cheaper.

하지만 ‘더 많은 컴퓨터’는 훨씬 더 많은 컴퓨팅을 필요로 하며, 88%를 달성하기 위한 테스트에는 문제당 수만 달러의 비용이 든다는 점이 걸림돌입니다. 사람이 더 저렴합니다.

UNITED STATES OF AMERICA v. GOOGLE LLC

구글의 TAC 관련 소송에서 애플의 에디큐가 법원에 제출한 선언문의 일부 내용. 애플이 검색시장에 뛰어들 것이라는 시나리오에 관해 “아니요”, “저희는 계속 돈 받고 싶은데요”라고 답변함

원고 측(미국 정부 및 주 정부)은, Apple이 Google과의 수익 공유 계약이 없어지면 자체 검색 엔진을 개발하거나 검색 광고 시장에 진출할 것이라고 가정하고 있습니다. 그러나 Apple의 증인들은 이러한 가정이 틀렸다는 것을 설명할 수 있습니다. 그 증거는 Apple이 검색 엔진 시장에 진입하는 데 직면할 도전 과제, Apple이 지금까지 검색 엔진을 개발하지 않은 이유, 그리고 향후 어떤 구제 조치가 내려지든 Apple이 검색 엔진을 개발할 가능성이 낮은 이유를 포함할 것입니다.

Apple이 검색 엔진을 만들 계획이 없는 이유는 여러 가지가 있습니다. 첫째, Apple은 다른 성장 분야에 집중하고 있습니다. 검색 엔진을 개발하려면 자본 투자와 인력 배분이 필요하며, 이는 수십억 달러의 비용과 수년간의 시간이 소요될 것입니다. 둘째, 검색 시장은 최근과 앞으로의 인공지능(AI) 발전으로 인해 빠르게 변화하고 있습니다. 이러한 상황에서 검색 엔진 개발에 대규모 자원을 투입하는 것은 경제적으로 위험할 수 있습니다. 셋째, 경쟁력 있는 검색 엔진을 구축하려면 타겟 광고를 판매할 플랫폼이 필요하지만, 이는 Apple의 핵심 사업 모델이 아닙니다. Apple은 이를 운영하기 위한 충분한 전문 인력과 인프라를 보유하고 있지 않으며, 현재 보유한 일부 광고 사업(예: App Store 광고)과는 성격이 완전히 다릅니다. 또한, Apple은 오랜 기간 동안 개인정보 보호를 중요한 원칙으로 삼아왔기 때문에 검색 광고 사업에 진출할 경우 이러한 원칙과 균형을 맞추는 것이 어려울 수 있습니다.

Introducing the Model Context Protocol
Anthropic

표준이란 무엇인지 생각해 볼 필요는 있지만…

오늘, 우리는 AI 어시스턴트를 콘텐츠 저장소, 비즈니스 도구, 개발 환경을 포함한 데이터가 있는 시스템에 연결하기 위한 새로운 표준인 Model Context Protocol (MCP)을 오픈 소스로 공개합니다 . 그 목적은 프런티어 모델이 더 좋고 관련성 있는 응답을 생성할 수 있도록 돕는 것입니다.

AI 어시스턴트가 주류로 채택됨에 따라, 업계는 모델 역량에 막대한 투자를 하여 추론과 품질에서 빠른 진전을 이루었습니다. 그러나 가장 정교한 모델조차도 데이터와의 고립으로 제약을 받고 있으며, 정보 사일로와 레거시 시스템 뒤에 갇혔습니다. 모든 새로운 데이터 소스에는 고유한 사용자 지정 구현이 필요하므로 진정으로 연결된 시스템은 확장하기 어렵습니다.

A new golden age of discovery
Google DeepMind

딥마인드의 보고서

지난 반세기 동안 과학 인력이 크게 증가하여 미국에서만 7배 이상 증가했지만 , 우리가 따라야 할 사회적 진보는 둔화되었습니다. 예를 들어, 세계 대부분 지역에서 생산성 증가가 지속적으로 둔화 되어 공공 서비스의 질이 저하되고 있습니다. 건강, 환경 등에서 가장 큰 과제를 포착한 2030년 지속 가능한 개발 목표를 향한 진전이 정체 되고 있습니다 .

특히, 오늘날 획기적인 발견을 모색하는 과학자들은 점점 더 규모 와 복잡성 과 관련된 과제에 부딪히게 되는데 , 이는 그들이 습득해야 할 끊임없이 증가하는 문헌 기반에서부터 실행하고자 하는 점점 더 복잡한 실험에 이르기까지 다양합니다. 최신 딥 러닝 방법은 이러한 규모와 복잡성 과제 에 특히 적합하며 , 그렇지 않으면 미래의 과학적 진보에 필요한 시간을 단축할 수 있습니다.

과학 발전의 병목 현상을 해결하는 다섯가지를 이야기한다.

1. 지식(Knowledge): AI가 문헌 검토를 돕고, 요약을 생성하며, 인터랙티브 과학 논문을 가능하게 함.
2. 데이터(Data): 대량의 과학 데이터를 추출, 정리, 주석 처리(annotate) 하여 연구 효율성을 증대.
3. 실험(Experiments): 시뮬레이션을 가속화하고, 비용을 줄이며, 실험 설계를 최적화함.
4. 모델(Models): 복잡한 시스템(예: 기후 예측, 질병 모델링, 경제 예측)을 더 정확하게 예측.
5. 해결책(Solutions): 수학, 화학, 공학 분야에서 최적의 해결책을 탐색하는 AI 알고리즘 활용.

기대 되는 측면도 있고 현재도 일부 사례를 찾아볼 수 있는 영역도 있으나, 이러한 변화가 가지는 위험 역시 이야기한다. 그중 공감되는 내용은 인공지능 격차에 관한 부분

• 창의성(Creativity): AI가 너무 예측 가능한 결과를 생성하여 혁신이 감소할 위험이 있음.
• 신뢰성(Reliability): AI 모델이 허위 데이터(hallucination) 를 생성할 가능성이 있어 연구 신뢰성 저하 가능성.
• 형평성(Equity): AI 도구에 대한 접근성이 불균형하여 과학 연구의 디지털 격차가 심화될 우려.
• 환경 비용(Environmental Costs): AI 모델 훈련에 막대한 연산 자원이 필요하여 탄소 배출 증가 문제가 있음.

The Gen AI Bridge to the Future
Stratechery by Ben Thompson

입장이 다른 사람들도 있지만 벤 톰슨은 생성형 인공지능이 유니버셜한 인터페이스가 될 수 있다고 보는 것 같다. 온디멘드 UI라는 말이 좋다

가장 인상적인 데모 중 하나는 UI가 가장 적었던 것이었다. 그것은 단순한 알림(notification)이었다. 나는 고개를 들어 누군가 나에게 전화를 걸고 있다는 것을 확인했고, 손가락을 맞대어 알림에 표시된 수락 버튼을 “클릭”하자 즉시 다른 방에 있는 사람과 통화할 수 있었다. 그러면서도 주변 환경과 자유롭게 상호작용할 수 있었다. 물론 전화 통화 자체는 새로운 발명이 아니다. 그러나 이 데모가 특별했던 이유는 내가 필요할 때만 필요한 UI가 제공되었기 때문이다.

나는 이것이 미래라고 생각한다. 정확히 필요한 순간에, 필요한 만큼만 UI가 나타나고, 그 외에는 아무것도 표시되지 않는 방식이다. 물론 이 데모는 사전에 프로그래밍된 방식으로 작동했지만, 미래에는 안경 자체가 충분히 스마트해져서 사용자의 요청뿐만 아니라 주변 환경과 상태를 고려하여 실시간으로 UI를 생성하는 것이 가능해질 것이다.

이 지점에서 우리는 새로운 패러다임으로의 연결고리를 확인할 수 있다. 내가 설명하는 것은 바로 생성형 AI의 적용 사례, 특히 온디맨드 UI 인터페이스에 대한 것이다. 이는 이미 존재하는 기기에도 유용하게 활용될 수 있다. 예를 들어, 스마트워치 애플리케이션이 현재처럼 작은 아이폰을 터치하며 조작하는 방식이 아니라, 특정 순간에 사용자가 해야 할 선택지만 정확하게 표시해 준다면 훨씬 더 편리할 것이다. 다시 말해, 오늘날에도 이러한 개념은 일부 정해진 프로그래밍을 통해 엿볼 수 있지만, 궁극적으로 생성형 AI가 실시간으로 제공하는 온디맨드 UI가 새로운 방식으로 자리 잡을 것이다.