Things we learned about LLMs in 2024
Simon Willison’s Weblog

좋은 글. 목록만 가져와서 인용해놓는다.

• GPT-4의 한계가 완전히 깨졌다
• 일부 GPT-4 모델은 내 노트북에서도 실행된다
• 경쟁과 효율성 증가 덕분에 LLM 가격이 폭락했다
• 멀티모달 비전(이미지 처리)은 보편화되었고, 오디오 및 비디오 모델도 등장하기 시작했다
• 음성과 실시간 카메라 모드는 SF에서 현실이 되었다
• 프롬프트 기반 애플리케이션 생성이 이미 일반화되었다
• 최고의 모델에 대한 보편적 접근은 몇 달 만에 끝났다
• “에이전트”는 여전히 제대로 구현되지 않았다
• 평가(Evals)는 정말 중요하다
• Apple Intelligence는 별로지만, Apple의 MLX 라이브러리는 뛰어나다
• 추론 확장형(reasoning) 모델이 부상했다
• 현재 최고의 LLM이 중국에서 600만 달러 미만의 비용으로 훈련되었을까?
• 환경적 영향이 개선되었다
• 환경적 영향이 훨씬 더 악화되었다
• 2024년은 “조악한 품질(sloppy)”의 해였다
• 합성 학습 데이터가 효과적으로 작동한다
• LLM 사용이 더 어려워졌다
• 지식이 극도로 불균등하게 분포되어 있다
• LLM은 더 나은 비판이 필요하다
• 2024년 내 블로그에서 “LLMs” 태그로 게시된 모든 글