Top companies ground Microsoft Copilot over data governance concerns
The Register

Copilot 같은 LLM이 조직에 적용될 때 발생할 수 있는 문제에 관해 언급. 접근권한이 없는 사람에게도 정보가 노출될 수 있어 적용에 문제가 발생.

“특히 SharePoint나 Office 365 또는 이와 유사한 복잡한 권한 설정이 있는 대기업들의 경우, Copilot들이 기본적으로 사람들이 기술적으로는 접근할 수 있지만 접근해서는 안 되는 정보를 적극적으로 요약하고 있습니다,” 그가 설명했습니다.

Berkowitz는 예를 들어 급여 정보가 Copilot 서비스에 의해 포착될 수 있다고 말했습니다.

“처음부터 완전히 깨끗한 Microsoft 환경을 설정했다면 이 문제가 완화될 수 있겠죠,” 그가 우리에게 말했습니다. “하지만 그런 환경을 가진 곳은 없습니다. 특히 정말 큰 회사들은 시간이 지나면서 이런 시스템들을 구현해 왔죠. 그래서 상충되는 권한이나 데이터 접근 권한이 생기게 됩니다.”

[…] AI 소프트웨어에는 특정한 보안 우려가 있지만, Berkowitz는 그가 듣고 있는 문제들이 내부 직원들이 접근해서는 안 되는 정보에 접근하는 것과 더 관련이 있다고 말했습니다. (이는 우리가 이전에 Copilot에 대해 들었던 불만입니다.)

15년 전 Google이 기업 문서를 색인화하고 직원들이 이용할 수 있게 만드는 Search Appliance를 도입했을 때의 IT 보안 과제와 비슷한 상황인지 묻자, Berkowitz는 “정확히 그렇습니다”라고 답했습니다.

Historical Analogues That Can Inform AI Governance
RAND

4가지 기술(핵기술, 인터넷, 암호화, 유전공학)을 AI와 비교하여 AI 거버넌스에 적용할 수 있는 교훈을 도출하고자 함. 예를 들어 AI가 심각한 위험을 초래한다면 핵기술 거버넌스 모델을, 위험이 적다면 인터넷 거버넌스 모델을 참고할 수 있다고 봄. 나중에 좀 더 자세히 읽어보기 위한 기록용.

인공지능(AI)의 기능이 향상됨에 따라 인공지능이 가져올 수 있는 위험을 최소화하면서 이점을 극대화하는 방법에 대한 의문이 제기되고 있습니다. 최근 수십 년 동안 핵 기술, 인터넷, 암호화 제품, 유전 공학 등 네 가지 기술에 대해서도 거버넌스와 관련된 유사한 질문이 제기되었습니다. 이들 기술의 거버넌스의 역사는 기술에 대한 규범에 대한 합의의 필요성, 물리적 자산과 비물리적 자산의 거버넌스에서 중요한 차이, 거버넌스에서 공공 부문과 민간 부문 간의 파트너십의 역할이라는 세 가지 주제를 보여줍니다. 이러한 기술은 개발 경쟁에 필요한 자원, 주로 공공 또는 민간 부문에서 사용되는지 여부, 보안 위험, 이러한 위험에 대한 합의, 통제 가능한 물리적 자산, 거버넌스를 위한 공동의 이해관계 커뮤니티를 조성할 수 있는지 여부, 위험을 최소화하고 이익을 극대화하는 데 공공 또는 민간 거버넌스가 가장 적합한지 여부 등 다양한 측면에서 차이가 있습니다.

주요 결과

• 광범위한 해를 끼칠 수 있는 심각한 위험을 초래하고, 획득 및 사용에 상당한 자원이 필요하며, 모니터링 및 제어가 가능한 물리적 자산을 보유한 AI는 원자력 기술과 유사한 광범위한 국제 거버넌스 구조에 적합할 수 있습니다.
• 최소한의 위험을 초래하는 AI는 인터넷을 위해 만들어진 거버넌스 모델과 같은 거버넌스 모델에 적합할 수 있습니다.
• 접근이 가능하지만 큰 위험을 초래할 수 있는 AI는 유전 공학에 사용되는 것과 유사한 거버넌스 모델이 적합할 수 있지만 이해관계자는 암호화에 사용되는 것과 유사한 거버넌스 모델을 적용하는 데 신중해야 합니다.

OpenAI announces SearchGPT, its AI-powered search engine
Verge

구글이나 퍼플렉시티 같은 경쟁자에 대응하기 위한 제품이라 생각. 내용 자체는 크게 관심가진 않지만 나중에는 인공지능 기술과 상관없이 생태계를 구축하는 기업이 주도하는 시장이 되지 않을까 싶다.

OpenAI의 블로그 게시물에 따르면, “SearchGPT는 검색에서 퍼블리셔를 눈에 띄게 인용하고 링크함으로써 사용자가 퍼블리셔와 연결될 수 있도록 설계되었습니다.”라고 설명합니다. “응답에는 명확한 인라인 어트리뷰션과 링크가 있어 사용자는 정보의 출처를 알 수 있고 소스 링크가 있는 사이드바에서 더 많은 결과를 빠르게 확인할 수 있습니다.”

AI Video Generator Runway Trained on Thousands of YouTube Videos Without Permission
404 Media

사람이 학습하는 방식과 다르지 않다는 견해와 다른 사람의 자산을 허가 없이 사용하는 것이라는 견해가 충돌. 하지만 유튜브 ToS와는 반하는 행위.

404 Media가 Runway의 내부 스프레드시트를 입수한 전직 Runway 직원에 따르면, 회사 전반에 걸쳐 학습용 비디오를 스프레드시트에 정리하기 위한 노력이 있었습니다. 비디오 목록이 작성된 후, Runway는 오픈 소스 소프트웨어인 YouTube-DL을 사용해 비디오를 스크랩했으며, 이는 프록시 설정 옵션을 사용했습니다. Runway는 유튜브의 차단을 피하기 위해 프록시 제공업체로부터 프록시를 구매했다고 소식통은 전했습니다.

전직 Runway 직원은 “스프레드시트의 채널들은 고품질 비디오를 찾기 위한 회사 전반의 노력이었습니다.”라고 말했습니다. “이 목록은 대규모 웹 크롤러에 입력되어 모든 채널에서 비디오를 다운로드하는 데 사용되었으며, 구글에 의해 차단되지 않기 위해 프록시를 사용했습니다.”

There’s a Tool to Catch Students Cheating With ChatGPT. OpenAI Hasn’t Released It.
WSJ

OpenAI는 에세이나 연구 논문을 챗지피티로 작성했는지 감지할 수 있는 방법을 가지고 있다. 하지만 이용자 설문조사에서 30% 가까운 사람이 워터마크 사용시 챗지피티를 덜 사용할 것이라고 답했다. 이러한 이유로 기술을 도입하는데 있어 논쟁이 있다는 기사.

ChatGPT는 문장에서 다음에 나올 단어나 단어 조각(토큰)을 예측하는 AI 시스템으로 구동됩니다. OpenAI에서 논의 중인 반부정행위 도구는 토큰이 선택되는 방식을 약간 변경합니다. 이러한 변경 사항은 워터마크라고 불리는 패턴을 남깁니다.

이 워터마크는 인간의 눈에는 보이지 않지만, OpenAI의 감지 기술로 발견될 수 있습니다. 감지기는 문서 전체 또는 그 일부분이 ChatGPT에 의해 작성되었을 가능성이 얼마나 높은지를 점수로 제공합니다.

내부 문서에 따르면, 워터마크는 ChatGPT에 의해 생성된 새로운 텍스트가 충분히 많을 때 99.9%의 효과를 보입니다.

스탠포드 연구원인 John Thickstun은 “내일 태양이 증발할 가능성이 이 리포트에 워터마크가 없을 가능성보다 높습니다”라고 말했습니다. 그는 AI 텍스트에 대한 유사한 워터마킹 방법을 개발한 팀의 일원입니다.

Workplace AI in China

인공지능 때문인지 원래 중국의 996 문화때문인지 불분명하지만 요약 파트를 보면 노동자를 착취하는 방향으로 활용되는 것으로 보인다.

중국 직장에서의 인공지능(AI) 통합은 주로 시장 세력과 경쟁에 의해 주도되며, 이는 노동자들보다 기업의 이익을 우선시합니다. 그 결과, 직장에서의 권력 균형은 데이터를 통제하고 알고리즘을 관리하는 고용주 쪽으로 더욱 기울어지며, 노동자들은 협상력이 약화되고 착취에 대한 취약성이 증가합니다.

AI가 직장에서의 효율성을 높이는 역할을 하고 있음에도 불구하고, 이는 중국 노동자들의 직업 질을 향상시키지 못했습니다. AI 솔루션은 종종 유급 및 무급 노동 착취를 극대화하기 위해 설계되며, 이로 인해 노동 조건이 악화되고 직업 불안정성이 증가하는 경향이 있습니다.

중국 노동자들은 AI 도구로 인해 더 많은 작업량과 스트레스를 겪고 있다고 보고합니다. 인간 감독자의 기대와 알고리즘 지표를 모두 충족해야 하는 압박은 종종 장시간 근무와 더 강도 높은 작업으로 이어지며, 이는 장기적으로 직원들의 성과 평가에 영향을 미칠 수 있습니다.

중국 직장에서 AI의 급속한 도입은 노동자들이 적응할 수 있는 능력을 초과하여, 그들에게 빠르게 새로운 기술을 습득할 것을 요구하며, 따라잡지 못하는 사람들은 일자리를 잃을 위험에 처하게 합니다.

부품 제조나 원자재 가공과 같은 낮은 부가가치 산업에 속한 소규모이거나 경쟁력이 낮은 중국 기업들은 더 좁은 이익 마진으로 인해 인력 관리에서 AI 솔루션을 더 공격적으로 사용하는 경향이 있으며, 이는 저숙련 일자리에 불균형적으로 영향을 미칩니다.

기업들의 AI 역량 차이는 글로벌 가치 사슬에서 노동 관행을 양극화하고 있습니다. AI의 도입으로 인해, 자원이 제한적이고 경쟁 압박을 받는 기업들은 AI를 효과적이고 윤리적으로 사용할 동기가 부족하고 역량이 부족하기 때문에, 글로벌 남반구의 노동자들은 더 높은 착취 위험에 직면하고 있습니다.

Generative AI Can Harm Learning

와튼스쿨에서 한 연구결과. 학습에 생성 인공지능 활용시 성과 향상을 가져오지만, 이러한 접근이 제거되었을 때 접근해보지 못한 학생에 비해 더 나쁜 성적을 보였다는 연구 결과. 즉 스스로 수행하는 능력이 더 나빠진다는 것을 시사한다. 후방카메라 있던 차를 운전하다 후방카메라가 없어지면 주차하기 어려운 것과 같다

생성형 인공지능(AI)은 인간의 업무 방식을 혁신할 준비가 되어 있으며, 이미 인간의 생산성을 크게 향상시킬 수 있음을 입증했습니다. 그러나 남아있는 중요한 질문은 생성형 AI가 학습, 즉 인간이 작업을 수행하면서 새로운 기술을 습득하는 방식에 어떤 영향을 미치는가입니다. 이러한 기술 학습은 특히 생성형 AI가 오류를 범할 수 있고 인간 전문가가 그 결과를 확인해야 하는 영역에서 장기적인 생산성 향상에 중요합니다. 우리는 고등학교 수학 수업 맥락에서 생성형 AI, 특히 OpenAI의 GPT-4가 인간의 학습에 미치는 영향을 연구했습니다.

거의 천 명의 학생들이 참여한 현장 실험에서, 우리는 표준 ChatGPT 인터페이스를 모방한 튜터(GPT Base라고 함)와 학습을 보호하도록 설계된 프롬프트가 있는 튜터(GPT Tutor라고 함) 두 가지 GPT 기반 튜터를 배포하고 평가했습니다. 이 튜터들은 3개 학년 각각의 커리큘럼 중 약 15%를 차지합니다. 이전 연구와 일치하게, 우리의 결과는 GPT-4에 대한 접근이 성과를 크게 향상시킨다는 것을 보여줍니다(GPT Base의 경우 48% 향상, GPT Tutor의 경우 127% 향상).

그러나 우리는 추가로 접근이 이후에 제거되었을 때, 학생들이 실제로 접근 권한이 전혀 없었던 학생들보다 더 나쁜 성과를 보인다는 것을 발견했습니다(GPT Base의 경우 17% 감소). 즉, GPT-4에 대한 접근이 교육 결과에 해를 끼칠 수 있습니다. 이러한 부정적인 학습 효과는 GPT Tutor에 포함된 안전장치에 의해 크게 완화됩니다.

우리의 결과는 학생들이 연습 문제 세션 동안 GPT-4를 “지팡이”로 사용하려고 시도하며, 성공했을 때 스스로 수행하는 능력이 더 나빠진다는 것을 시사합니다. 따라서 장기적인 생산성을 유지하기 위해서는 인간이 계속해서 중요한 기술을 학습할 수 있도록 생성형 AI를 배포할 때 주의해야 합니다. *HB, OB, AS가 동등하게 기여함

키워드: 생성형 AI, 인적 자본 개발, 교육, 인간-AI 협력, 대규모 언어 모델

Google makes your Pixel screenshots searchable with Recall-like AI feature
The Verge

인공지능을 어떤 방식으로 제품화하는지가 더 중요할 수 있는데 스마트 스크린샷을 보면 그런게 아닐지. 마이크로소프트의 리콜과 유사해보이지만 검색 범위를 스크린샷으로 제한했다. 구글 트윗 글처럼 내 폰 안에도 수많은 스크린샷이 잠자고 있는지도.

Mark Zuckerberg and Daniel Ek on Why Europe Should Embrace Open-Source AI: It Risks Falling Behind Because of Incoherent and Complex Regulation, Say the Two Tech CEOs
Spotify

마크 저커버그와 다니엘 에크가 유럽의 인공지능 규제의 문제에 대해 언급

EU의 일반 데이터 보호 규정(GDPR)의 불균형한 적용을 살펴보겠습니다. 이 획기적인 지침은 데이터의 사용과 흐름을 조화롭게 만들기 위한 것이었지만, 대신 EU 개인정보 보호 규제 기관들이 지연과 불확실성을 만들어내고 있으며 법률을 어떻게 적용해야 하는지에 대해 서로 합의하지 못하고 있습니다. 예를 들어, Meta는 Facebook과 Instagram에서 성인들이 공개적으로 공유한 콘텐츠로 모델을 훈련하는 것을 지연하라는 지시를 받았습니다. 이는 어떤 법률 위반 때문이 아니라 규제 기관들이 어떻게 진행해야 할지 합의하지 못했기 때문입니다. 단기적으로, 다른 지역에서 일상적으로 사용되는 데이터의 사용을 지연시키는 것은 가장 강력한 AI 모델들이 유럽의 집단 지식, 문화, 언어를 반영하지 못하게 만들며, 유럽인들은 최신 AI 제품을 사용하지 못하게 될 것입니다.

이러한 우려는 단순히 이론적인 것이 아닙니다. 현재의 규제 불확실성 때문에 Meta는 이미지를 이해할 수 있는 기능을 가진 Llama 멀티모달과 같은 향후 모델을 출시하지 못할 것입니다. 이는 유럽 조직들이 최신 오픈소스 기술에 접근할 수 없게 되고, 유럽 시민들은 다른 사람을 위해 만들어진 AI를 사용하게 될 것임을 의미합니다.

현실은 유럽의 주권과 경쟁력을 높이기 위해 설계된 법률들이 오히려 반대의 결과를 낳고 있다는 것입니다. 이는 우리 산업에만 국한된 것이 아닙니다: 다양한 산업 분야의 많은 유럽 최고 경영자들은 복잡하고 일관성 없는 규제 환경을 대륙의 경쟁력 부족의 한 이유로 지적하고 있습니다.

How Amazon Q automates software development with GenAI
LinkedIn

아마존 CEO 앤디 재시가 쓴 코딩 생산성 향상에 관한 이야기. 스택오버플로우 설문 결과에서 개발자가 생각하는 것보다는 실제 영향력이 크지 않을까 생각해보게 된다. 실제 체감에 간단한 작업은 너무 간편해졌다.

• 애플리케이션을 Java 17로 업그레이드하는 평균 시간이 일반적으로 50 개발자-일이 걸리던 것에서 단 몇 시간으로 급감했습니다. 우리는 이를 통해 약 4,500 개발자-년에 해당하는 작업량을 절약했다고 추정합니다 (네, 이 숫자는 믿기 힘들지만 실제입니다).
• 6개월도 안 되는 기간 동안, 우리는 일반적인 시간과 노력의 일부만으로 생산 환경의 Java 시스템 중 50% 이상을 최신 Java 버전으로 업그레이드할 수 있었습니다. 그리고 우리 개발자들은 자동 생성된 코드 리뷰의 79%를 추가 변경 없이 배포했습니다.
• 이러한 혜택은 개발자들의 노력을 절약한 것 이상으로 확장됩니다. 업그레이드를 통해 보안이 강화되고 인프라 비용이 감소되어, 연간 약 2억 6천만 달러의 효율성 이득이 있을 것으로 추정됩니다.