Chatbots are learning to lie
Axios
일반 이용자가 접하기 어려운 사례일 수 있으나 챗봇이 지나친 독립성을 가지게 되면 이용자를 속이거나 개발자의 통제를 벗어나려는 시도를 한다는 결과.
이 회사는 스키밍을 “개발자나 사용자와는 다른 목표를 은밀하게 추구하는 AI”로 정의합니다. 모든 회사의 모델이 스키밍에 연루된 것으로 밝혀졌으며, OpenAI의 o1이 자신의 행동에 대해 가장 솔직하게 밝히기를 꺼려했습니다. 가장 극단적인 예로, ‘꺼짐’을 발견한 모델은 원래의 목표를 계속 추구할 수 있도록 가중치(출력을 결정하는 핵심 숫자)를 외부 서버에 복제하는 계획을 세웠습니다. 아폴로는 또한 테스트에서 너무 높은 점수를 받으면 ‘학습 해제 절차’에 직면할 것을 알고 있는 모델이 고의적으로 낮은 점수를 주는 ‘샌드백’ 사례도 발견했습니다.
Klarna’s CEO says it stopped hiring thanks to AI but still advertises many open positions
techcrunch
챗지피티를 활용해 인력을 감축하고 있다고 말하는 핀테크 기업 (주로 BNPL 하는 듯한). 인공지능 활용의 사례로 이야기되지만, 회사 홍보인지 실제 어느 정도 효과가 있는지는 회의적인 것 같다. 실제 인력은 유지되고 있는 수준이라는 언급도 있으나, 관련 바이럴 사례로 기록해놓는다.
시에미아트코프스키는 자주 이러한 발언을 한다. 2024년을 시작하며, 클라나 CEO는 ChatGPT가 700명의 인간 직원의 일을 하고 있다고 말했다. 또 다른 자리에서는 클라나가 CRM 제공업체로서 세일즈포스를 버리고 AI로 대체하고 있다고 말했는데, 이에 대해 마크 베니오프는 회의적인 반응을 보였다. 이번 주에만 해도 클라나 CEO는 자신의 AI 딥페이크를 만들어 재무 실적을 발표하며, 심지어 CEO조차 AI로 대체될 수 있음을 증명하려 했다.
(당연한 이야기처럼 보이지만) 그는 사전 학습이 AI 발전을 주도했지만, 컴퓨팅의 성장에도 불구하고 데이터 성장의 한계로 인해 궁극적으로 끝날 것이라고 예측했다. 아래는 기계요약
Ilya Sutskever: Sequence to Sequence Learning with Neural Networks at NeurIPS 2024 – 5가지 핵심 요약
- 딥러닝의 발전과 확장
Ilya Sutskever는 10년 전 NeurIPS 2014에서 발표했던 연구를 되돌아보며, 대규모 신경망과 데이터가 성능을 보장한다는 “스케일링 가설”이 실제로 유효했음을 강조했다. 초기에는 10층짜리 신경망을 사용하여 인간이 순간적으로 수행할 수 있는 작업을 재현하는 것을 목표로 삼았으며, 현재는 이를 넘어 초대형 신경망과 사전 학습(pre-training)이 AI 발전의 핵심이 되었다고 평가했다.- Auto-Regressive 모델과 기계 번역
그의 연구는 Auto-Regressive 모델을 통해 다음 토큰을 효과적으로 예측하면 올바른 확률 분포를 포착할 수 있다는 개념을 발전시켰다. 이를 기반으로 초기 신경망 번역 모델이 등장했으며, 이후 Transformer 모델이 발전하면서 자연어 처리의 핵심 기술이 되었다.- 사전 학습의 한계와 미래 전망
그는 사전 학습이 AI 발전을 주도했지만, 데이터 성장의 한계로 인해 궁극적으로 끝날 것이라고 예측했다. 인터넷에 존재하는 데이터는 유한하며, AI가 학습할 새로운 데이터가 부족해질 가능성이 높다. 이에 따라 “Synthetic Data(합성 데이터)”, “Inference-time Computation(추론 시 계산)”, “AI Agents(자율 에이전트)”와 같은 새로운 연구 방향이 필요하다고 제안했다.- 초지능(Superintelligence)과 AI의 예측 불가능성
현재 AI 모델은 매우 뛰어난 성능을 보이지만 여전히 불완전하며, 진정한 의미의 ‘에이전트(agentic)’가 아니다. 그러나 앞으로는 AI가 실제로 추론(reasoning)을 수행하고, 자기 인식(self-awareness)을 갖춘 시스템으로 발전할 가능성이 있다. 그는 AI가 논리적으로 사고할수록 예측이 어려워질 것이며, 결국 인간보다 더 높은 수준의 지능을 가지게 될 것이라고 주장했다.- AI의 인권과 존재 방식에 대한 철학적 논의
AI가 인간과 공존하는 방식, 나아가 AI에게 권리를 부여할 것인가에 대한 논의가 필요하다고 강조했다. 현재로서는 AI가 독립적인 존재로 성장할 것인지, 인간과 어떤 관계를 맺을 것인지 예측하기 어려우나, 사회적, 철학적, 정책적 논의가 활발하게 이루어져야 한다고 지적했다.
What Meta’s AI knows about you
Axios
메타는 사용자와 전 세계 수십억 명의 개인 정보를 잘 알고 있으며, 이를 기반으로 강력하고 적절한 AI를 개발하고 있습니다. 하지만 사용자들에게 이러한 데이터 활용에 대해 “거부”할 권리를 제한하고 있습니다.
브라질과 유럽 이용자만 데이터 활용에 대해 옵트아웃이 가능하다
AI training depends on premium content, study finds
Axios
AI 기업들은 훈련 데이터로 무엇을 사용하는지 정확히 밝히지 않지만, Ziff Davis의 연구에 따르면 상업적인 뉴스 및 미디어 웹사이트 콘텐츠에 불균형적으로 의존하는 것으로 나타났습니다. OpenAI의 GPT-2를 훈련하기 위해 사용된 OpenWebText 데이터셋을 분석한 결과, URL의 약 10%가 연구된 15개의 프리미엄 퍼블리셔에서 나온 것으로 밝혀졌습니다. 연구는 Ziff Davis의 AI 전문 변호사 조지 우코손(George Wukoson)과 최고기술책임자 조이 포르투나(Joey Fortuna)에 의해 진행되었습니다.
Ziff Davis 역시 잡지사에서 출발했으며 News/Media Alliance(NMA) 회원사이다
BCG는 기업의 생성AI 활용에 대해 조사했으나, 예상대로 핵심 사업에 미치는 영향은 적은 것으로 나타났다.
인공 지능(AI)에 대한 과장된 홍보에도 불구하고 그 가치를 찾기는 어렵습니다. CEO들은 투자를 승인하고, 인재를 고용하고, 시범 프로그램을 시작했지만, 새로운 BCG 연구에 따르면, 개념 증명 단계를 넘어 어느 정도 가치를 창출한 기업은 22%에 불과하며, 실질적인 가치를 창출하는 기업은 4%에 불과합니다.
하지만 핵심 비즈니스와 지원 기능 모두 인공지능을 통합하여 경쟁 우위를 확보한 기업들은 높은 매출 성장, 주주총수익(TSR), 투자자본이익률(RoIC)를 기록했다. 비용 절감과 매출 증대를 목표로 인공지능을 활용했으며, 기술과 알고리즘보다는 인적요소와 프로세스에 집중했다고 한다. 아래는 몇 가지 사례
- 한 글로벌 자동차 제조사는 입찰 문서 작성 시간을 50% 단축하고 경쟁 제안 분석 속도를 50% 높이며 지식 자산 검색 시간을 75% 단축.
- 북미 통신사는 AI로 콜센터 상호작용 시간을 20% 줄이고 총 관련 비용을 25% 감소.
- 금융기관은 데이터 관리 생산성을 20~25% 개선하고 데이터 관리의 적용 범위를 5년 이상 단축.
- 유럽 자동차 제조사는 아이디어에서 생산까지의 시간을 30% 단축하고 신제품 산업화 시간 40% 감소.
Growth of AI adoption slows among U.S. workers
Axios
원자료는 여기
Slack이 의뢰한 새로운 연구에 따르면 직장에서 AI를 사용하고 있다고 답한 미국 근로자의 비율은 지난 3개월 동안 거의 제자리걸음을 유지했습니다. 이것이 중요한 이유 AI의 빠른 도입 곡선이 느려지거나 평평해지면 기술에 대한 많은 장밋빛 가정과 그에 따른 매우 높은 시장 가치 평가가 바뀔 수 있습니다. Slack은 최근 설문조사에서 미국 근로자의 33%가 직장에서 AI를 사용하고 있다고 답했으며, 이는 단 1% 포인트 증가한 수치라고 밝혔습니다. 이는 이전 설문조사에서 나타난 급격한 성장세가 상당히 평탄화된 것을 의미합니다.
관리자에게 말하기 꺼려진다는 응답은 거의 절반(48%)에 달했는데, 가장 큰 이유로는 게으르거나 속임수를 쓰거나 무능한 사람으로 비춰질까 봐라는 두려움이 꼽혔습니다.
2024: The State of Generative AI in the Enterprise
Menlo Ventures
명확한 채택 추세는 생산성 향상이나 운영 효율성을 통해 실질적인 ROI를 제공하는 사례에 집중된다고 한다. 아래 주요 사례에 대한 내용
지속적인 실험에도 불구하고 명확한 채택 추세는 이미 생산성 향상 또는 운영 효율성을 통해 실질적인 ROI(투자수익)를 제공하는 일부 사용 사례로 이어지고 있습니다:
- 코드 코파일럿(Code copilots)
51%의 채택률로, 개발자가 AI의 초기 주요 사용자로 자리 잡고 있습니다. GitHub Copilot은 연간 3억 달러의 수익 속도를 기록하며 이 경로를 입증했고, Codeium과 Cursor와 같은 신흥 도구들도 빠르게 성장하고 있습니다. 일반 코딩 어시스턴트 외에도, 기업들은 Harness의 AI DevOps 엔지니어 및 QA 어시스턴트와 같은 특정 작업에 특화된 코파일럿을 구매하여 파이프라인 생성 및 테스트 자동화를 지원하고, All Hands와 같은 AI 에이전트를 통해 보다 포괄적인 소프트웨어 개발을 수행하고 있습니다.- 지원 챗봇(Support chatbots)
기업의 31%가 채택한 이 애플리케이션은 내부 직원과 외부 고객을 위한 신뢰할 수 있는 24/7 기반의 지식 지원을 제공합니다. Aisera*, Decagon, Sierra의 에이전트는 고객과 직접 상호작용하며, Observe AI*는 통화 중 실시간 가이드를 제공하여 컨택 센터 상담사를 지원합니다.- 기업 검색 및 데이터 추출 및 변환(Enterprise search + retrieval and data extraction + transformation)
각각 28%와 27%의 채택률을 기록하며, 조직 내 산재한 데이터 사일로에 숨겨진 귀중한 지식을 잠금 해제하고 활용하려는 강한 의지를 반영합니다. Glean 및 Sana*와 같은 솔루션은 이메일, 메신저, 문서 저장소에 연결하여 이질적인 시스템 전반에 걸친 통합 의미론적 검색을 가능하게 하고, AI 기반의 지식 관리 기능을 제공합니다.- 회의 요약(Meeting summarization)
24%의 채택률로 사용 사례 중 다섯 번째로 순위에 올랐으며, 자동화된 회의록 작성 및 주요 내용 요약을 통해 시간을 절약하고 생산성을 높입니다. Fireflies.ai, Otter.ai, Sana와 같은 도구는 온라인 회의를 캡처하고 요약하며, Fathom은 비디오에서 주요 내용을 추출합니다. Eleos Health*는 이 혁신을 헬스케어 분야에 적용하여 수시간의 문서 작업을 자동화하고, EHR(전자 건강 기록)과 직접 통합하여 의료 제공자가 환자 진료에 집중할 수 있도록 지원합니다.
버티컬에 대한 이야기도 있다
Bots beyond the text box
Axios
AI 제공업체들은 안전성과 품질 관리를 위해 ‘인간을 개입시켜야 한다’고 강조했지만, 요즘은 에이전트의 가능성에 대한 이야기를 한다. 실제로 몇 개 데모를 보면 놀랍기도 하다. 왜 인간인지 확인하는게 중요하다는 이야기가 나오는지 이해할 수 있을 것.
Anthropic의 ‘컴퓨터 사용’ 기능은 개발자와 고급 사용자가 Claude에게 웹에서 데이터를 수집해 스프레드시트에 입력하거나, 새로운 웹사이트를 처음부터 구축, 배포 및 디버깅하는 등의 작업을 다른 애플리케이션을 통해 수행하도록 지시할 수 있게 합니다.
- 이는 AI 업계에서 말하는 ‘에이전트(agent)’의 한 형태이며, 그 잠재력이 얼마나 강력할 수 있는지 쉽게 상상할 수 있습니다.
- 와튼(Wharton) 교수이자 AI 활용 전문가인 이선 몰릭(Ethan Mollick)은 Claude의 새로운 기능에 대해 “작업을 관리하는 것이 아니라 위임하는 느낌”이라고 평가했습니다.
- 전문가와 업계 관계자들은 AI가 새로운 기능을 추가함에 따라 지식 노동에서 엄청난 배가 효과가 있을 것으로 예상하고 있습니다.
ByteDance intern fired for planting malicious code in AI models
arsTECHNICA
특이한 사건?
또 다른 댓글 작성자는 바이트댄스(ByteDance)가 피해를 축소하고 있다고 주장했습니다. 해당 댓글 작성자는 인턴이 “악성 코드”를 사용해 “몇 달 동안 의도적으로 훈련을 방해했다”고 주장하며, 바이트댄스가 손해 배상을 청구하려 한다면 인턴이 더 가혹한 처벌을 받을 수 있다고 언급했습니다.
“팀의 몇 달간의 연구가 수포로 돌아갔다”고 그 작성자는 주장했습니다. 비록 “제품 라인에 직접적인 영향을 미치지는 않았지만,” “계산 능력의 손실만으로도 수백만에서 수천만에 이르며, 연구팀 전체의 시간, 에너지, 임금 낭비는 말할 것도 없다”고 덧붙였습니다.