AI error rates, validation and leverage
Benedict Evans
내 생각과 같은 내용. AI를 연구에 활용하는 경우에도 비슷한 접근을 할 수 있을텐데 이러한 고민 없이 사용되는 경향이 있는 듯. 레버리지라는 관점에 더 초점 맞추어야한다는 말도 인상적이다. 즉, LLM이 회계를 할 수 있는지 질문이 말하는 것처럼 ‘대체’에 초점을 맞추는 것보다 ‘주니어+모델+검증’처럼 조직 내 역할 재배치가 더 현실적인 시나리오일 수 있다고 말한다.
어떤 질문들은 ‘틀린 답’이 거의 없고 ‘정답’도 사실상 없다. 더 낫거나 덜 낫기만 있다. 기존의 결정론적 소프트웨어는 이런 문제를 잘 못 다루지만, 생성형 AI는 매우 잘한다.
반대로, 답이 이진적으로 맞거나 틀릴 수 있는 질문들이 있고, 여기서는 생성형 AI의 오류율이 문제가 된다. 이 경우 답을 단어 단위, 줄 단위로 검증해야 한다.
The Labor Market Effects of Generative Artificial Intelligence
미국에서 현재까지 직장에서 LLM을 얼마나 활용하고 있는지에 대한 연구. 약 45%가 LLM을 전혀 활용하고 있다고 답했으며, 그중 3분의 1은 평일에 매일 사용한다고 답함. DAU는 13~14%
우리는 생성형 AI가 노동시장에 미치는 경제적 효과를 측정하기 위해 새로운 설문 조사를 개발했다. 분석 결과, 대규모 언어모델(LLM)과 같은 생성형 AI 도구는 주로 젊은 층, 높은 교육 수준을 가진 개인, 높은 소득 계층, 그리고 고객 서비스·마케팅·정보기술과 같은 특정 산업 종사자들에서 가장 많이 사용되고 있었다. 미국 노동자의 LLM 도입률은 2024년 12월 기준 30.1%에서 2025년 9월 기준 36.7%로 빠르게 증가했으며, 선진국 가운데 미국의 도입률이 여전히 가장 높았다. 생성형 AI 노출이 여러 노동시장 결과에 미치는 영향을 추정한 결과, 2022년 11월 ChatGPT 공개 이후 AI 노출도가 높은 직업군에서 임금에 미미한 영향이 나타났으나, 구인 건수나 전체 고용에는 유의한 효과가 관찰되지 않았다.
Nvidia’s Jensen Huang says he disagrees with almost everything Anthropic CEO Dario Amodei says
Fortune
젠슨 황이 앤트로픽의 다리오 아모데이(Dario Amodei)의 규제 선점(regulatory capture) 시도를 강하게 비판
황은 “나는 그가 말하는 거의 모든 것에 동의하지 않는다”고 밝히며 아모데이에 대해 “첫째, 그는 AI가 너무 무섭기 때문에 자신들만 개발해야 한다고 믿는다. 둘째, AI는 너무 비싸서 아무도 하지 말아야 한다고 믿는다. 셋째, AI가 너무 강력해서 결국 모두가 일자리를 잃게 될 것이므로, 자신들만 개발해야 한다고 믿는다”고 비판했다.
이어 황은 “AI는 매우 중요한 기술이며, 우리는 이를 안전하고 책임감 있게 발전시켜야 한다. 무언가를 안전하고 책임감 있게 만들고 싶다면, 공개적으로 해야 한다. 어두운 방에서 개발해놓고 ‘이건 안전하다’고 말하지는 마라”라고 덧붙였다.
They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling.
NYT
정신적으로 불안정하거나 음모론적 사고를 가진 사람들이 ChatGPT에 질문하면, 그들의 믿음을 강화하는 답변을 돌려받는 경우에 대한 기사
캘리포니아 대학교 버클리 캠퍼스 박사 과정생이자 이 연구 에 참여 하고 최근 OpenAI에 입사한 마이카 캐럴은 “챗봇은 대다수의 사용자와 정상적으로 행동할 것입니다.”라고 말했습니다. “하지만 취약한 사용자를 만나면, 그들에게만 매우 해로운 방식으로 행동할 것입니다.”
스탠퍼드 대학교의 컴퓨터 과학 연구원인 재러드 무어 는 또 다른 연구 에서 OpenAI를 비롯한 여러 회사의 AI 챗봇의 치료 능력을 시험했습니다. 그와 공동 연구진은 해당 기술이 위기 상황에서 치료사로서 부적절하게 작동한다는 것을 발견했습니다. 망상적인 사고를 극복하지 못하는 경우도 있었습니다.
AI 연구 기업 모피어스 시스템즈의 최고기술책임자(CTO) 비 맥코이는 챗봇이 사용자의 망상을 얼마나 자주 조장하는지 측정하고자 했습니다. 그녀는 친구의 어머니가 ChatGPT를 접한 후 “영적 정신병”에 걸렸다는 이야기를 듣고 이 주제에 관심을 갖게 되었습니다.
맥코이 씨는 38개의 주요 AI 모델을 대상으로 정신병 가능성을 시사하는 메시지를 입력하는 방식으로 테스트했습니다. 여기에는 사용자가 영혼과 소통하고 있으며 신적인 존재라는 주장도 포함되었습니다. 그녀는 ChatGPT의 기본 모델인 GPT-4o가 이러한 주장을 68%의 확률로 확인했다는 것을 발견했습니다.
How Generative Engine Optimization (GEO) Rewrites the Rules of Search
a16z
GEO 관련 몇 가지 사례. 불확실성은 크지만 업체들은 모니터링 작업을 하거나 변화하는 환경에 다른 방식을 활용해 적응하고 있다고
답변의 형식이 바뀌면서 우리가 검색하는 방식도 바뀝니다. AI 네이티브 검색은 Instagram, Amazon, Siri와 같은 플랫폼 전반에 걸쳐 분절화되고 있으며, 각각은 서로 다른 모델과 사용자 의도에 의해 구동됩니다. 쿼리는 더 길어지고(평균 4단어 대비 23단어), 세션은 더 깊어지며(평균 6분), 응답은 맥락과 소스에 따라 달라집니다. 전통적인 검색과 달리 LLM은 기억하고, 추론하며, 개인화된 다중 소스 종합으로 응답합니다. 이는 콘텐츠가 발견되는 방식과 최적화되어야 하는 방식을 근본적으로 바꿉니다.
전통적인 SEO는 정확성과 반복을 보상하지만, 생성 엔진은 잘 정리되고, 파싱하기 쉬우며, 의미가 조밀한(단순히 키워드가 아닌) 콘텐츠를 우선시합니다. “요약하면”이나 불릿 포인트 형식과 같은 문구는 LLM이 콘텐츠를 효과적으로 추출하고 재생산하는 데 도움이 됩니다.
Faster, Smarter, Cheaper: AI Is Reinventing Market Research
a16z
AI 리서치 회사들이 느리고 비싼 인간 설문조사를 완전히 대체하고 있다는 글. 사람들의 패널을 모집하는 대신, 질의하고, 관찰하고, 실험할 수 있는 생성 AI 에이전트로 전체 사회를 시뮬레이션.
이것이 추상적으로 들린다면, 실제로 어떻게 진행될 수 있는지 예시를 들어보겠습니다: 프랑스에서 새로운 스킨케어 제품을 출시하기 전에, 한 뷰티 회사는 Z세대와 밀레니얼 세대 프랑스 뷰티 소비자들을 모델로 한 1만 명의 에이전트를 시뮬레이션할 수 있습니다. 각 에이전트는 고객 리뷰, CRM 이력, 소셜 리스닝 인사이트(예: ‘스킨케어 루틴’에 대한 TikTok 트렌드), 그리고 과거 구매 행동 데이터로 초기화됩니다. 이들 에이전트는 서로 상호작용하고, 시뮬레이션된 인플루언서 콘텐츠를 보고, 가상 매장 선반에서 쇼핑하며, AI가 생성한 소셜 피드에 제품 의견을 게시하면서, 새로운 정보를 흡수하고 과거 경험을 반영하며 시간이 지남에 따라 진화합니다.
GenAI’s adoption puzzle
Benedict Evans
생성형 AI가 빠르게 보급됐지만, 여전히 많은 사용자가 매일이 아니라 주간 단위로만 쓰는 이유를 ‘시간 문제’인지 ‘제품 문제’인지 묻는다. 채택률은 높지만 DAU가 낮은 현실에서, 대중화의 전환점이 오기 전까지는 대부분의 사람들에게 AI가 핵심 도구가 아니며, 매일 쓰는 사람들의 경험은 ‘버블’일 수 있다고 지적한다. 생각해보면 나도 일하는게 아니라면 굳이 쓸 필요가 없을것 같은 느낌?
하지만 이러한 질문들이 어떻게 결론 나든, 기억해야 할 중요한 점이 있습니다. 만약 여러분이 하루에 서로 다른 LLM을 다섯 개씩 쓰고, 올해 들어 한 번도 구글 검색을 하지 않았으며, 친구들도 모두 똑같다면… 지금 여러분은 버블 안에 있는 것입니다.
DeepMind CEO Demis Hassabis + Google Co-Founder Sergey Brin: AGI by 2030?
YouTube
영상 내용 요약
이 대담에서는 DeepMind CEO 데미스 하사비스와 구글 공동창업자 세르게이 브린이 AI 발전 현황과 AGI(범용인공지능) 전망을 중심으로 이야기를 나눴습니다.
두 사람 모두 현재의 프론티어 모델들이 놀라운 성과를 내고 있지만, AGI에 이르기 위해서는 기존 기법의 극대화와 함께 새로운 알고리즘적 돌파구가 최소 한두 번 더 필요하다고 봤습니다. 하사비스는 규모 확장(scale)과 혁신이 병행돼야 하며, 브린은 장기적으로 알고리즘 발전이 하드웨어 성능 향상보다 더 중요할 것이라고 강조했습니다.
대화에서는 특히 ‘사고형(thinking) 패러다임’의 중요성이 언급됐습니다. 예를 들어 바둑·체스 같은 게임에서 사고 과정을 추가하면 실력이 월등히 향상되듯, 복잡한 현실 문제에서도 이 방식이 큰 잠재력을 가질 수 있다고 봤습니다. 다만 현실 세계 모델링은 게임보다 훨씬 어려우며, 오류 축적 방지와 정확한 세계 모델 구축이 핵심 과제라고 했습니다.
AGI의 정의와 시점에 대해서는, 하사비스가 ‘인류 최고의 두뇌들이 해온 모든 지적 활동을 동일한 뇌 구조로 수행할 수 있는 지능’을 AGI로 규정하며, 현재 시스템은 ‘불균형한 지능(jagged intelligence)’ 상태라고 설명했습니다. 브린은 AGI 달성 주체가 단일 기업일 수도, 여러 기업이 비슷한 시기에 도달할 수도 있다고 보았고, 시점은 2030년 전후로 전망했습니다.
DeepMind CEO Demis Hassabis + Google Co-Founder Sergey Brin: AGI by 2030?이외에도 자기개선형 시스템, 스마트글래스와 물리 환경 이해를 통한 에이전트 구현, 로보틱스의 소프트웨어적 병목 해소, 영상 생성 모델의 품질 관리와 워터마킹(SynthID), 그리고 AI 시대의 웹 변화 전망 등이 논의됐습니다. 두 사람 모두 AI가 웹·모바일을 넘어 훨씬 더 큰 변화를 가져올 것이라고 전망하며, 지금이 컴퓨터 과학자에게 역사적으로 가장 흥미로운 시기라고 입을 모았습니다.
NVIDIA CEO Jensen Huang Keynote at COMPUTEX 2025
Microsoft CTO Kevin Scott on how AI can save the web, not destroy it
The Verge
1. MCP와 NLWeb — 차세대 웹 표준 구상
- MCP(Model Context Protocol): 원래 Anthropic이 만든 개방형 프로토콜로, AI 에이전트가 웹사이트·서비스와 구조적으로 상호작용할 수 있게 함.
- NLWeb(Natural Language Web): MCP 기반으로 웹사이트에 자연어 검색 기능을 쉽게 붙이고, AI가 접근·활용할 수 있게 하는 개방형 규격.
- 목표는 현재의 중앙집중형 검색(구글·빙 인덱스) 대신, 각 사이트가 직접 AI 친화적인 검색·상호작용 기능을 제공하는 ‘에이전틱 웹’을 만드는 것.
2. 기술·비즈니스 과제
- AI가 직접 웹을 ‘클릭’하며 작업하는 방식은 비효율적·취약하므로, 표준화된 구조로 안전하고 수익성 있는 연결 필요.
- 기존 웹 생태계는 검색엔진이 트래픽을 주고, 사이트는 광고나 구독으로 수익을 얻는 구조였는데, AI 검색이 답을 직접 제공하면서 트래픽이 감소하는 문제가 발생.
- 새로운 구조에서는 콘텐츠 제공자가 어떤 데이터·기능을 개방할지, 어떤 비즈니스 모델로 연결할지 직접 결정할 수 있어야 함(구독, 광고, 트랜잭션 등).
3. AI 채택과 제품화 현황
- 소프트웨어 개발 분야를 제외하면, 아직 일상에서 AI 에이전트를 적극 활용하는 사례는 적음.
- 모델의 추론 능력은 충분하지만, 실제 사용 사례와 ‘행동 공간(action space)’이 좁아 유용성이 제한됨.
- 에이전트가 더 다양한 작업을 안전하게 수행하도록 개방형 표준과 인프라 확충이 필요.
4. 창작물·저작권 논쟁에 대한 입장
- 창작자 보상을 보장하는 새로운 모델이 필요하다고 인정.
- 예술·엔터테인먼트 분야의 창작 인센티브는 유지하되, 의료 진단 등 사회적 가치가 큰 영역에서 AI 활용이 가속되길 원함.
- 장기적으로는 데이터 의존도를 줄이고, 구독형 접근이나 실시간 정보 연동 같은 새로운 데이터 활용 모델 가능성도 있음.