(당연한 이야기처럼 보이지만) 그는 사전 학습이 AI 발전을 주도했지만, 컴퓨팅의 성장에도 불구하고 데이터 성장의 한계로 인해 궁극적으로 끝날 것이라고 예측했다. 아래는 기계요약

Ilya Sutskever: Sequence to Sequence Learning with Neural Networks at NeurIPS 2024 – 5가지 핵심 요약

1. 딥러닝의 발전과 확장
   Ilya Sutskever는 10년 전 NeurIPS 2014에서 발표했던 연구를 되돌아보며, 대규모 신경망과 데이터가 성능을 보장한다는 “스케일링 가설”이 실제로 유효했음을 강조했다. 초기에는 10층짜리 신경망을 사용하여 인간이 순간적으로 수행할 수 있는 작업을 재현하는 것을 목표로 삼았으며, 현재는 이를 넘어 초대형 신경망과 사전 학습(pre-training)이 AI 발전의 핵심이 되었다고 평가했다.
2. Auto-Regressive 모델과 기계 번역
   그의 연구는 Auto-Regressive 모델을 통해 다음 토큰을 효과적으로 예측하면 올바른 확률 분포를 포착할 수 있다는 개념을 발전시켰다. 이를 기반으로 초기 신경망 번역 모델이 등장했으며, 이후 Transformer 모델이 발전하면서 자연어 처리의 핵심 기술이 되었다.
3. 사전 학습의 한계와 미래 전망
   그는 사전 학습이 AI 발전을 주도했지만, 데이터 성장의 한계로 인해 궁극적으로 끝날 것이라고 예측했다. 인터넷에 존재하는 데이터는 유한하며, AI가 학습할 새로운 데이터가 부족해질 가능성이 높다. 이에 따라 “Synthetic Data(합성 데이터)”, “Inference-time Computation(추론 시 계산)”, “AI Agents(자율 에이전트)”와 같은 새로운 연구 방향이 필요하다고 제안했다.
4. 초지능(Superintelligence)과 AI의 예측 불가능성
   현재 AI 모델은 매우 뛰어난 성능을 보이지만 여전히 불완전하며, 진정한 의미의 ‘에이전트(agentic)’가 아니다. 그러나 앞으로는 AI가 실제로 추론(reasoning)을 수행하고, 자기 인식(self-awareness)을 갖춘 시스템으로 발전할 가능성이 있다. 그는 AI가 논리적으로 사고할수록 예측이 어려워질 것이며, 결국 인간보다 더 높은 수준의 지능을 가지게 될 것이라고 주장했다.
5. AI의 인권과 존재 방식에 대한 철학적 논의
   AI가 인간과 공존하는 방식, 나아가 AI에게 권리를 부여할 것인가에 대한 논의가 필요하다고 강조했다. 현재로서는 AI가 독립적인 존재로 성장할 것인지, 인간과 어떤 관계를 맺을 것인지 예측하기 어려우나, 사회적, 철학적, 정책적 논의가 활발하게 이루어져야 한다고 지적했다.

Introducing the Model Context Protocol
Anthropic

표준이란 무엇인지 생각해 볼 필요는 있지만…

오늘, 우리는 AI 어시스턴트를 콘텐츠 저장소, 비즈니스 도구, 개발 환경을 포함한 데이터가 있는 시스템에 연결하기 위한 새로운 표준인 Model Context Protocol (MCP)을 오픈 소스로 공개합니다 . 그 목적은 프런티어 모델이 더 좋고 관련성 있는 응답을 생성할 수 있도록 돕는 것입니다.

AI 어시스턴트가 주류로 채택됨에 따라, 업계는 모델 역량에 막대한 투자를 하여 추론과 품질에서 빠른 진전을 이루었습니다. 그러나 가장 정교한 모델조차도 데이터와의 고립으로 제약을 받고 있으며, 정보 사일로와 레거시 시스템 뒤에 갇혔습니다. 모든 새로운 데이터 소스에는 고유한 사용자 지정 구현이 필요하므로 진정으로 연결된 시스템은 확장하기 어렵습니다.

A new golden age of discovery
Google DeepMind

딥마인드의 보고서

지난 반세기 동안 과학 인력이 크게 증가하여 미국에서만 7배 이상 증가했지만 , 우리가 따라야 할 사회적 진보는 둔화되었습니다. 예를 들어, 세계 대부분 지역에서 생산성 증가가 지속적으로 둔화 되어 공공 서비스의 질이 저하되고 있습니다. 건강, 환경 등에서 가장 큰 과제를 포착한 2030년 지속 가능한 개발 목표를 향한 진전이 정체 되고 있습니다 .

특히, 오늘날 획기적인 발견을 모색하는 과학자들은 점점 더 규모 와 복잡성 과 관련된 과제에 부딪히게 되는데 , 이는 그들이 습득해야 할 끊임없이 증가하는 문헌 기반에서부터 실행하고자 하는 점점 더 복잡한 실험에 이르기까지 다양합니다. 최신 딥 러닝 방법은 이러한 규모와 복잡성 과제 에 특히 적합하며 , 그렇지 않으면 미래의 과학적 진보에 필요한 시간을 단축할 수 있습니다.

과학 발전의 병목 현상을 해결하는 다섯가지를 이야기한다.

1. 지식(Knowledge): AI가 문헌 검토를 돕고, 요약을 생성하며, 인터랙티브 과학 논문을 가능하게 함.
2. 데이터(Data): 대량의 과학 데이터를 추출, 정리, 주석 처리(annotate) 하여 연구 효율성을 증대.
3. 실험(Experiments): 시뮬레이션을 가속화하고, 비용을 줄이며, 실험 설계를 최적화함.
4. 모델(Models): 복잡한 시스템(예: 기후 예측, 질병 모델링, 경제 예측)을 더 정확하게 예측.
5. 해결책(Solutions): 수학, 화학, 공학 분야에서 최적의 해결책을 탐색하는 AI 알고리즘 활용.

기대 되는 측면도 있고 현재도 일부 사례를 찾아볼 수 있는 영역도 있으나, 이러한 변화가 가지는 위험 역시 이야기한다. 그중 공감되는 내용은 인공지능 격차에 관한 부분

• 창의성(Creativity): AI가 너무 예측 가능한 결과를 생성하여 혁신이 감소할 위험이 있음.
• 신뢰성(Reliability): AI 모델이 허위 데이터(hallucination) 를 생성할 가능성이 있어 연구 신뢰성 저하 가능성.
• 형평성(Equity): AI 도구에 대한 접근성이 불균형하여 과학 연구의 디지털 격차가 심화될 우려.
• 환경 비용(Environmental Costs): AI 모델 훈련에 막대한 연산 자원이 필요하여 탄소 배출 증가 문제가 있음.

The Gen AI Bridge to the Future
Stratechery by Ben Thompson

입장이 다른 사람들도 있지만 벤 톰슨은 생성형 인공지능이 유니버셜한 인터페이스가 될 수 있다고 보는 것 같다. 온디멘드 UI라는 말이 좋다

가장 인상적인 데모 중 하나는 UI가 가장 적었던 것이었다. 그것은 단순한 알림(notification)이었다. 나는 고개를 들어 누군가 나에게 전화를 걸고 있다는 것을 확인했고, 손가락을 맞대어 알림에 표시된 수락 버튼을 “클릭”하자 즉시 다른 방에 있는 사람과 통화할 수 있었다. 그러면서도 주변 환경과 자유롭게 상호작용할 수 있었다. 물론 전화 통화 자체는 새로운 발명이 아니다. 그러나 이 데모가 특별했던 이유는 내가 필요할 때만 필요한 UI가 제공되었기 때문이다.

나는 이것이 미래라고 생각한다. 정확히 필요한 순간에, 필요한 만큼만 UI가 나타나고, 그 외에는 아무것도 표시되지 않는 방식이다. 물론 이 데모는 사전에 프로그래밍된 방식으로 작동했지만, 미래에는 안경 자체가 충분히 스마트해져서 사용자의 요청뿐만 아니라 주변 환경과 상태를 고려하여 실시간으로 UI를 생성하는 것이 가능해질 것이다.

이 지점에서 우리는 새로운 패러다임으로의 연결고리를 확인할 수 있다. 내가 설명하는 것은 바로 생성형 AI의 적용 사례, 특히 온디맨드 UI 인터페이스에 대한 것이다. 이는 이미 존재하는 기기에도 유용하게 활용될 수 있다. 예를 들어, 스마트워치 애플리케이션이 현재처럼 작은 아이폰을 터치하며 조작하는 방식이 아니라, 특정 순간에 사용자가 해야 할 선택지만 정확하게 표시해 준다면 훨씬 더 편리할 것이다. 다시 말해, 오늘날에도 이러한 개념은 일부 정해진 프로그래밍을 통해 엿볼 수 있지만, 궁극적으로 생성형 AI가 실시간으로 제공하는 온디맨드 UI가 새로운 방식으로 자리 잡을 것이다.