Welcome to STATE OF AI REPORT 2024.
Air Street

테크니컬한 내용 위주라 그냥 전체 요약 내용만

2024년 보고서의 주요 내용:

• 최첨단 연구소 성능의 수렴: 최첨단 연구소의 성능이 수렴하면서 독점 모델의 우위가 사라지고 있으며, GPT-4와 다른 모델 간의 격차가 좁혀지고 있습니다. OpenAI의 o1은 연구소를 다시 최상위로 올려놓았지만, 그 위치가 얼마나 지속될지는 불확실합니다.
• 계획 및 추론의 우선순위: LLM(대규모 언어 모델) 연구에서 계획 및 추론이 중요한 과제로 떠올랐습니다. 기업들은 강화 학습, 진화 알고리즘, 자기 개선(Self-improvement)과 LLM을 결합하여 미래의 자율 에이전트 애플리케이션을 개발하는 방법을 모색하고 있습니다.
• 기초 모델의 다분야 확장: 기초 모델(Foundation Models)은 언어를 넘어 수학, 생물학, 유전체학, 물리학 및 신경과학 등 다양한 분야에서 다중 모달(multimodal) 연구를 지원하는 능력을 입증하고 있습니다.
• 미국 제재의 제한적 영향: 미국의 제재는 중국 연구소가 강력한 (V)LLM(초거대 언어 모델)을 생산하는 데 제한적인 영향을 미쳤습니다. 재고, 승인된 하드웨어, 밀수 및 클라우드 액세스의 조합으로 인해 중국 연구소는 고성능 모델을 구축할 수 있었습니다. 그러나 중국의 반도체 산업 육성 노력은 여전히 혼란스러운 상태입니다.
• AI 기업의 기업 가치 상승: AI 기업의 기업 가치는 9조 달러에 도달했으며, 상장 기업은 AI 노출로 인해 강세장을 경험하고 있습니다. 비상장 AI 기업에 대한 투자는 증가했지만, 미국 내 대규모 GenAI(생성형 AI) 투자 라운드에도 불구하고 그 규모는 상대적으로 적었습니다.
• 수익을 창출하는 AI 기업의 등장: 기초 모델 개발자 및 비디오 및 오디오 생성에 집중하는 스타트업 등 일부 AI 기업은 본격적으로 수익을 창출하기 시작했습니다. 그러나 기업들이 시장 점유율을 확보하기 위해 모델 가격을 낮추는 과정에서 장기적인 지속 가능성에 대한 의문이 제기되고 있습니다.
• 의사 인수(pseudo-acquisition)의 등장: 일부 AI 기업은 최첨단 기술을 유지하는 데 비용이 많이 들기 때문에, 지속 가능한 비즈니스 모델을 찾지 못해 의사 인수를 통해 사업을 정리하는 방안을 모색하고 있습니다.
• 실존적 위험 담론의 완화: OpenAI의 쿠데타 시도 실패 이후, AI의 실존적 위험에 대한 논의는 다소 완화되었습니다. 그러나 연구자들은 여전히 모델의 잠재적 취약점과 오용 가능성에 대한 연구를 심화하고 있으며, 잠재적 수정 및 안전장치를 제안하고 있습니다.