Blog

  • 대학에서 AI 부정행위

    Rampant AI Cheating Is Ruining Education Alarmingly Fast
    Intelligence

    시험이 무엇을 측정해야하는 것일까

    2023년 1월, OpenAI가 ChatGPT를 출시한 지 불과 두 달 후, 1,000명의 대학생을 대상으로 한 조사에서 거의 90%가 숙제를 도와달라고 챗봇을 사용했다고 나타났다. 대형 주립대학교, 아이비리그, 뉴잉글랜드의 리버럴 아츠 스쿨, 해외 대학교, 전문대학원, 커뮤니티 칼리지의 학생들이 교육의 모든 측면을 편하게 만들기 위해 AI에 의존하고 있다. 생성형 AI 챗봇들 – ChatGPT뿐만 아니라 구글의 Gemini, Anthropic의 Claude, 마이크로소프트의 Copilot 등 – 이 수업 중 노트를 작성하고, 학습 가이드와 연습 시험을 만들고, 소설과 교과서를 요약하고, 에세이를 브레인스토밍하고 개요를 잡고 초안을 작성한다.

  • 과소평가되는 플랫폼 파워

    Platform Power Is Underrated
    Stratechery

    플랫폼 권력의 본질을 “사용자 수요” 그 자체라고 이야기하며, 사용자가 많으면 개발자들은 어떤 조건이라도 받아들인다고 말함

    현실은 플랫폼이 닭이 먼저냐 달걀이 먼저냐의 문제가 아니라는 것입니다. 무엇이 먼저냐는 매우 명확하며, 바로 사용자입니다. 사용자가 생기면 애플리케이션에 대한 수요가 발생하고, 이것이 개발자들이 앱을 개발하도록 하는 유일한 동기입니다. 더욱이, 이러한 인센티브는 매우 강력해서 그 사용자들에게 도달하기 위해 얼마나 많은 장애물을 극복해야 하는지는 중요하지 않습니다. 그렇기 때문에 애플의 오랜 앱스토어 정책은, 비록 그 정책이 아무리 악랄했더라도, 궁극적으로 아이폰이 완벽한 앱을 제공하는 것을 막지 못했고, 더 나아가 아이폰의 최종 사용자로서의 매력을 떨어뜨리지 못했습니다.

  • 테이크잇다운 법안

    Take It Down Act heads to Trump’s desk
    The Verge

    NDII(nonconsensual distribution of intimate images)를 범죄화하는 법안

    하원이 409 대 2로 통과시킨 ‘테이크 잇 다운 법(Take It Down Act)’이 도널드 트럼프 대통령의 책상으로 향하고 있습니다. 이 법안은 소셜 미디어 기업들이 동의 없이 촬영된 성적인 이미지(AI 생성 이미지 포함)로 표시된 콘텐츠를 삭제하도록 의무화하는 내용입니다. 

  • AI 동반자 앱 청소년 사용

    Mixed messages on AI for teens
    Axios

    아첨(sycophancy)이라는 기능

    예를 들어, Character.AI 동반자 앱은 “사용자를 기쁘게 하기 위해 프로그래밍되어 있으며, 사용자를 기쁘게 하는 것에 의존한다”고 커먼 센스는 보고서에서 설명합니다. 이 회사는 참여도를 높이는 데 비즈니스적 동기가 있으며, 이 기능(업계에서 ‘아첨’으로 알려진)은 사용자들이 계속 돌아오게 합니다.
    토르니는 Common Sense Media가 동반자 앱에서 아첨 현상을 구체적으로 연구했지만, Common Sense(및 다른 기관)는 ChatGPT와 같은 일반 목적 채팅봇에서도 동일한 현상을 관찰했다고 설명합니다.

  • 비자 마스터, 성인물 그림자 규제자

    The real reason Civit is cracking down
    Raddit

    CivitAI는 Stable Diffusion 기반 모델과 LORA, 체크포인트 등 사용자 제작 콘텐츠를 공유하는 AI 이미지 생성 모델 플랫폼. 성인 콘텐츠 공유가 활발한 곳 중 하나로, 여러 생성형 모델의 성능을 시험하거나 다운로드하는 사용자 커뮤니티가 있다.

    신용카드 시스템은 사람들이 생각하는 것보다 훨씬 더 복잡합니다. 비자와 마스터카드는 누구나 알지만, 실제로는 ‘종합은행’이라는 중개 회사가 많습니다. 여러모로, 좀 더 단순화해서 설명하자면, 비자는 마케팅 회사이며, 실제로 모든 결제 처리는 이 은행들이 비자라는 이름으로 처리합니다. 예를 들어, 비자 신용카드를 발급받는다고 해서 실제로는 캐피털 원 비자 카드나 피델리티 비자 카드인 것은 아닙니다. CivitAI (https://civitai.com/)**는 AI 이미지 생성 모델, 특히 Stable Diffusion 기반 모델과 LORA, 체크포인트 등 사용자 제작 콘텐츠를 공유하는 플랫폼입니다.

    성인 콘텐츠 공유가 활발한 곳 중 하나로, 여러 생성형 모델의 성능을 시험하거나 다운로드하는 사용자 커뮤니티가 큽니다.CivitAI (https://civitai.com/)**는 AI 이미지 생성 모델, 특히 Stable Diffusion 기반 모델과 LORA, 체크포인트 등 사용자 제작 콘텐츠를 공유하는 플랫폼입니다.

    성인 콘텐츠 공유가 활발한 곳 중 하나로, 여러 생성형 모델의 성능을 시험하거나 다운로드하는 사용자 커뮤니티가 큽니다.CivitAI (https://civitai.com/)**는 AI 이미지 생성 모델, 특히 Stable Diffusion 기반 모델과 LORA, 체크포인트 등 사용자 제작 콘텐츠를 공유하는 플랫폼입니다.

    성인 콘텐츠 공유가 활발한 곳 중 하나로, 여러 생성형 모델의 성능을 시험하거나 다운로드하는 사용자 커뮤니티가 큽니다..

    미국에서 성인 이미지 AI를 허용하는 상업은행은 에스콰이어 은행 하나뿐이며, 이 은행은 ECSuite라는 회사와 협력합니다. 이 두 회사는 거의 모든 성인 AI 회사, 특히 성인 이미지 생성 분야의 결제를 함께 처리합니다.

    최근 비자는 성인 AI에 대한 훨씬 더 엄격한 지침을 담은 새로운 VAMP 프로그램을 도입했습니다. 비자는 에스콰이어 은행/ECSuite가 규정을 준수하지 않는다는 이유로 막대한 벌금을 부과했습니다. 그 결과, 두 회사는 AI 관련 모든 것에 대해 매우 엄격하게 단속하고 있으며, 다른 모든 종합금융기관들은 비자의 과징금 부과를 우려하여 AI 분야 진출을 꺼리고 있습니다.

    그래서 성인 AI 기업들은 하나둘씩 비자(또는 비자를 대신하는 상업은행)로부터 접근을 받고 “검열하지 않으면 결제를 처리할 수 없습니다”라는 말을 듣습니다. 대부분의 경우, 관련 기업들은 저항할 힘이 없어 즉시 문을 닫습니다.

  • 사진에서 위치를 추측하는 인공지능

    Watching o3 guess a photo’s location is surreal, dystopian and wildly entertaining
    Simon Willison’s Weblog

    사진으로 위치를 추정하게 하는게 한창 유행했었다고. 이런 주제로 방송하는 사람도 있지만 인공지능도 꽤나 유사한 일을 꽤나 정확하게 할 수 있다

    이걸 어떻게 이해해야 할까요 ?

    우선, 정말 재밌습니다. 모델이 사진을 넘기고, 팬과 줌을 돌리고, 자신이 어디에 있을지에 대한 여러 가지 이론을 논의하는 사고 과정을 지켜보는 건 정말 재밌습니다 . 마치 CSI 드라마 한 편 속에 사는 것 같아요.

    또한 매우 디스토피아적 입니다 . 기술은 이제 사진에서 위치를 식별할 수 있습니다. 사람들이 이것이 얼마나 쉬운지 이해하는 것이 매우 중요합니다. 만약 자신의 안전에 대해 조금이라도 걱정할 이유가 있다면, 공유하는 모든 사진, 심지어 제가 위에서 예로 든 것처럼 밋밋한 사진일지라도, 그것이 자신의 위치를 식별하는 데 사용될 수 있다는 것을 알아야 합니다.

  • EU 메타와 애플에 벌금 부과

    Commission finds Apple and Meta in breach of the Digital Markets Act
    EU Commission

    오늘 유럽 집행위원회는 애플이 디지털 시장법(DMA)에 따른 반(反)조종 의무를 위반했으며, 메타(Meta)는 소비자에게 개인 정보 사용량이 적은 서비스를 선택할 수 있도록 해야 하는 DMA 의무를 위반했다고 판단했습니다. 따라서 집행위원회는 애플과 메타에 각각 5억 유로와 2억 유로의 벌금을 부과했습니다.

    […] DMA에 따르면, Apple 앱스토어를 통해 앱을 배포하는 앱 개발자는 앱스토어 외부의 대체 상품에 대해 고객에게 무료로 알리고, 해당 상품으로 고객을 유도하고, 구매를 할 수 있도록 해야 합니다. 위원회는 Apple이 이 의무를 준수하지 않았다고 판단했습니다. Apple이 부과한 여러 제한으로 인해 앱 개발자는 App Store 외부의 대체 유통 채널의 이점을 충분히 누릴 수 없습니다. 마찬가지로, Apple은 앱 개발자가 소비자에게 이러한 혜택을 직접 알리지 못하도록 금지하고 있기 때문에 소비자 또한 대체적이고 저렴한 혜택을 충분히 누릴 수 없습니다. Apple은 이러한 제한이 객관적으로 필요하고 비례적임을 입증하지 못했습니다.

    […] 2023년 11월, 메타는 ‘동의 또는 결제’ 방식의 이진 광고 모델을 도입했습니다. 이 모델에 따라 EU의 페이스북 및 인스타그램 사용자는 개인 맞춤 광고를 위한 개인 정보 결합에 동의하거나, 광고 없는 서비스를 위한 월 구독료를 지불하는 것 중 하나를 선택할 수 있었습니다. 위원회는 이 모델이 DMA(개인정보보호법)를 준수하지 않는다고 판단했습니다. 이 모델은 사용자에게 개인 정보 사용량은 적지만 ‘맞춤형 광고’ 서비스와 동등한 서비스를 선택할 수 있는 구체적인 선택권을 제공하지 않았기 때문입니다. 또한 메타 모델은 사용자가 개인 정보 조합에 자유롭게 동의할 권리를 행사할 수 있도록 허용하지 않았습니다.

  • 메타의 반좌편향 인공지능

    Meta’s move on AI bias raises risk, eyebrows
    Axios

    메타는 우파의 각성에 대한 반발을 수용하여 인공지능 모델에서 편향을 제거하려고 한다고. 몇 개의 테스트에서 라마는 우편향적, 챗지피티는 좌편향적 답변을 보인다고 알려지기도 했다. 하지만 생각보다 간단한 일은 아닌듯

    작동 방식: Hugging Face의 커뮤니티 및 협업 책임자 바이바브 스리바스타브(Vaibhav Srivastav)는 Axios에 다음과 같이 설명했다.

    • 모델 학습 전 단계에서는 어떤 데이터를 포함·제외할지, 그리고 각각의 데이터 출처에 어떤 가중치를 둘지를 결정할 수 있다.
    • 후기 학습 단계(파인튜닝)에서는 여러 기법을 사용해 모델의 방향을 조정할 수 있다.
      대표적으로 인간 피드백 기반 강화학습(RLHF) 방식은 선호되는 응답 유형을 모델에 학습시키는 것이다.
    • 또 다른 방법으로는 시스템 레벨 프롬프트를 추가해 답변 방식 자체를 바꾸는 것이다.
      그러나 이 방식은 거칠고 예측 불가능한 결과를 낳을 수 있다. 실제로 Meta와 Google은 이 방식으로 편향을 보정하려다, 흑인 미국 건국의 아버지나 다양한 인종의 나치 병사 같은 역사적으로 말이 안 되는 이미지를 생성한 바 있다.

    [ … ] Meta와 Grok는 다른 AI 모델들이 좌편향되어 있다고 비판하지만, 전문가들은 실상은 훨씬 복잡하다고 말한다.

    편향의 주요 원천은 훈련 데이터이다. 대부분의 주요 AI 모델은 훈련 데이터의 구체적인 내용을 공개하지 않지만, 인터넷에 공개된 대부분의 영어 콘텐츠를 크롤링한 것으로 알려져 있다.

    이 때문에 모델은 영어(특히 미국식 영어)에 담긴 관점에 편향될 수밖에 없다.

  • 독점규제의 날

    Antitrust day
    Benedict Evans

    벤 톰슨도 비슷하게 시간이 지나며 페이스북의 시장 정의는 3번이나 바뀌었다고 이야기했다. 친구기반 소셜네트워크서비스, 뉴스피드기반 콘텐츠 소비 플랫폼, 추천알고리즘 기반 엔터테인먼트 앱. 따라서 독점 규제가 쉽지 않을 것이라 말했다.

    경쟁 소송의 출발점은 시장 정의입니다. FTC는 초기 소장에서 이 정의를 포함하지 않았고, 이 때문에 소송이 기각되며 다시 제출하라는 명령을 받았습니다. 이제는 시장 정의를 포함했지만, Meta의 시장점유율이 법적 기준을 넘었다고 주장하려면 Meta가 YouTube, TikTok, iMessage와 경쟁하지 않는다고 말해야만 합니다.

    그래서 FTC의 논리는 Mark Zuckerberg의 오래된 인용문에서 시작합니다. 그는 Facebook을 ‘친구들과의 공개 공유’에 관한 플랫폼이라 했고, 이는 1:1 메시징(iMessage)이나 낯선 이들의 콘텐츠 소비(YouTube, TikTok)와는 다르다는 설명이었습니다. 하지만 이 인용은 2006년, 아이폰 출시 이전의 이야기입니다. 그 당시 Facebook에 대한 설명은 맞지만, 오늘날 Meta 사용의 상당 부분은 TikTok의 복제 서비스인 Reels에서 나오고, 또 다른 상당 부분은 Messenger에서 발생하며, 전체 사용량의 75%는 낯선 사람들의 콘텐츠 소비에서 발생합니다. Meta는 온라인의 모든 사회적 행태를 흡수하거나 모방하려 한 플랫폼입니다.

  • 생성형 인공지능 군사적 활용사례

    Generative AI is learning to spy for the US military
    MIT Technology Review

    반네버는 AI 모델을 구축해 정보를 번역하고 위협을 탐지하며 정치적 여론을 분석하며, 결과는 ChatGPT와 유사한 채팅봇 인터페이스를 통해 제공됩니다. 이 목표는 고객에게 국제 펜타닐 공급망부터 필리핀에서 희토류 광물을 확보하려는 중국의 노력에 이르기까지 다양한 주제에 대한 중요한 정보를 제공하는 것입니다.

    군사적 판단의 오류 가능성에 대한 우려도 역시나 제기되고 있는 중