Blog

  • 대규모 언어모델의 2차 효과

    미래의 기업을 두 가지, compute rich vs. compute poor 형태로 구분한다. 대규모 언어 모델을 가지지 못한 compute poor 기업은 향후 대규모 언어모델을 보유한 OpenAI/Google에 세금을 부과하게 될 것이며, compute rich 기업의 ML 모델에 점점 더 많이 의존하게 될 것이라고 본다.

    이러한 역량이 미래의 게이트키퍼가 될 수 있는 조건이 될 것이다. 마치 플랫폼을 소유하고 있는 애플이나 페이스북이 생태계에 의존하는 에픽게임즈나 젠가를 쫓아낼 수 있는 것처럼 말이다. 정부는 언어모델을 학습시키기위한 인프라를 보유하는 것이 국가 안보에 중요하다는 점을 인식하게 될 것이고, 검색 알고리즘 최적화(SEO)에 집중하던 마케터도 ML에 최적화하기 위해 노력하게 될 것이라고 말한다. 어쨌든 모든 것이 이상해질 것이라고 말하는 글. 짧지만 흥미로운 스레드이다.

  • 한계 콘텐츠 제로

    DALL-E, the Metaverse, and Zero Marginal Content

    Stratechery, by Ben Thompson

    OpenAI의 이미지 생성 모델 DALL-E 2에 관한 글. 수요 측면이 아닌 공급 측면에서 발생할 변화의 흐름에 대해 이야기하는 내용. 게임, 소셜미디어, 이미지 생성모델을 바탕으로 세 가지가 결합될 수 있는 미래를 말한다.

    DALL-E의 매력적인 점은 이 세 가지 트렌드가 결합될 수 있는 미래를 가리킨다는 것입니다. DALL-E는 결국 GPT-3와 마찬가지로 인간이 생성한 콘텐츠의 산물입니다. 물론 후자는 텍스트에 관한 것이고 DALL-E는 이미지에 관한 것입니다. 그러나 텍스트에서 이미지로의 진행에 주목하십시오. 그 다음은 머신 러닝 생성 비디오입니다. 물론 이것은 몇 년이 걸릴 것입니다. 비디오는 훨씬 더 어려운 문제이고 반응형 3D 환경은 아직 더 어렵습니다. 그러나 이것은 업계가 이전에 걸어온 길입니다.

    게임 개발자들은 텍스트, 이미지, 비디오, 3D에 대한 한계를 뛰어 넘었습니다.
    소셜 미디어는 텍스트, 이미지, 비디오 순으로 콘텐츠 제작 비용을 제로로 만듭니다.
    기계 학습 모델은 이제 한계 비용 없이 텍스트와 이미지를 생성할 수 있습니다.[expand title=eng]

    What is fascinating about DALL-E is that it points to a future where these three trends can be combined. DALL-E, at the end of the day, is ultimately a product of human-generated content, just like its GPT-3 cousin. The latter, of course, is about text, while DALL-E is about images. Notice, though, that progression from text to images; it follows that machine learning-generated video is next. This will likely take several years, of course; video is a much more difficult problem, and responsive 3D environments more difficult yet, but this is a path the industry has trod before:

    Game developers pushed the limits on text, then images, then video, then 3D

    Social media drives content creation costs to zero first on text, then images, then video

    Machine learning models can now create text and images for zero marginal cost[/expand]

    인터넷이 가져온 변화 중 하나가 한계소비 비용을 제로로 만들었다는 점인데, 머신러닝 생성 콘텐츠는 거의 제로비용으로 콘텐츠를 생성하는 것이 가능하게 만들 수 있을 것이라는 이야기.

  • 메타버스에서 하루 종일 있을 수 없는 이유

    Why we won’t spend all day in the metaverse

    메타버스에 관한 내용을 찾아서 읽던 중 본 짧은 이야기. 메타의 앤드류 보스워스와 메타버스에서 이야기하며 즐거운 시간을 보냈는데 하루종일 있을 수 없다는 생각이 들었다고 언급하며 아래와 같이 말한다.

    Bosworth는 “Axios on HBO”와의 인터뷰에서 “메타버스에는 음식이 없습니다. “메타버스는 꽤 훌륭하고 재미있고 매력적이겠지만, 여전히 직접 방문하는 것만큼 좋은 일은 없을 것입니다.”

    만족스러운 경험은 10년 후에나 가능할 것이라고 인정했다. 하지만 과연 10년으로 가능할까? 어떤 기기를 통해 이용하게 될지에 대해서부터 여러 분야에 걸친 이슈에 이르기까지 넓은 범위의 공감대는 있으나 확실하게 정의된 부분이 없다.

  • 페이스북 “많이 본 콘텐츠” 보고서

    Widely Viewed Content Report: What People See on Facebook

    페이스북이 투명성을 위한 노력의 하나로 널리 본 콘텐츠에 대한 보고서를 공개했다. 사람들이 뉴스피드에서 많이 본 콘텐츠 출처에 대한 내용이다. 유튜브나 아마존이 사람들이 가장 많이 방문하는 도메인이라고 밝혔으나 허위정보에 대한 우려와 달리 대부분 콘텐츠는 링크가 포함되어 있지 않다. 하지만 이러한 보고서의 내용이 실제 허위정보를 예방하고 실제로 제기되고 있는 위험에 대처하기 위한 정보 제공과는 거리가 멀다는 비판이 있다. 콘텐츠가 어떤 과정을 통해 사람들에게 도달하는지에 대한 자세한 내용은 빠져있다는 것이다.

    보고서를 보면 확인할 수 있는 것처럼 가볍게 시간 때울 수 있는 콘텐츠가 가장 높은 조회수를 기록하고 있다. 흥미로운 점은 NYT에서 동일한 형식의 1분기 보고서도 발견했는데, 거기에서 가장 많이 노출된 콘텐츠는 코로나 백신의 부작용 우려에 대한 기사라는 점이다. 부정적인 인식 때문에 페이스북이 이를 공개하지 않았다는 비판을 했다. 하지만 문제는 이러한 내용은 NYT에서도 동일하게 보도한 내용이라는 점이다. 플랫폼의 문제에 대해 이야기하지만 언론이 스스로 작성했던 기사라는 점에 대해서는 말하지 않는다는 사실이다.

    실질적으로 도움이 되는 내용은 빠져 있어서 아쉬움이 있지만 국내 사업자에게서도 이러한 형태의 보고서가 나올 수 있을까?

  • 인플루언서와 저널리스트

    Journalists and Fandoms COLLIDE, Everyone LOSES – Study Hall

    인플루언서와 관련된 기사를 쓰고 팬들에게 시달림당한 기자에 대한 이야기. 언급하는 사례는 매우 일부에 불과하다고.

    “그들은 이미 그들 자신의 내러티브, 팬들, 그리고 팬들이 그 내러티브를 이해하는 방식을 확실하게 통제하고 있습니다.”라고 그녀는 말합니다. “그들이 자신의 방식으로 자신의 이야기를 말하는 데 익숙하다면—그들의 버전이 부정확하거나 불공정하거나 검증되지 않은 경우에도—그들이 사실을 더 명확하게 볼 수 있고 그들을 보호하는 데 기득권이 없는 제3자에게 적대적인 것은 당연해 보입니다.”[expand title=eng]

    “They already have a firm hold over their own narrative, their audience, and how that audience understands that narrative,” she says. “If they’re used to telling their own story on their own terms — even when their version of it might be inaccurate or unfair or unvetted — it seems natural that they’d be hostile to a third party coming in, who can maybe see the facts with more clarity, and who doesn’t have a vested interest in protecting them.”[/expand]

    인플루언서와 관련된 기사에 팬들의 테러가 이어지는 경우가 있어 문화 및 엔터테인먼트 기자에게 하드 뉴스 기자와 동일한 온라인 보호가 필요할 수도 있다는 이야기를 한다.

  • OnlyFans와 성인서비스

    OnlyFans to Block Sexually Explicit Videos Starting in October

    By Lucas Shaw, Bloombers ($)

    온리팬즈(OnlyFans)는 패트리온(Patreon)이나 서브스택(Substack)처럼 열정적인 팬들로부터 직접 수익을 거둘 수 있는 서비스를 제공하는 기업들이다. 이러한 직접 후원 방식은 아프리카TV가 대표적이었으나 크리에이터 경제(creator economy)라는 말이 나올 정도로 성장하는 시장이 되었고, 유튜브, 트위터, 인스타그램 등 대부분의 플랫폼 서비스에서 후원 모델은 일반적으로 자리잡았다.

    온라팬즈는 앱 서비스를 하지 못하고 웹으로만 접속을 허용했었는데 이는 성인 콘텐츠 때문에 앱스토어 심사를 통과하지 못했기 때문이다. 이번에 앱을 만들며 누드가 없는 서비스를 제공하기로 했는데, 10월부터 성적인 콘텐츠를 제한하겠다는 발표를 했다.

    데이터 분석기술이나 VR과 같은 새로운 기술은 주로 성인 콘텐츠에 가장 빠르게 적용하는데 온리팬즈도 소셜 미디어를 통해 포르노를 사고팔던 수요를 받아들여 성장한 서비스. 이용자가 1억3천만명이나 된다. 서비스가 성장하는 과정에서 성인 콘텐츠의 역할이 컸으나 더 큰 서비스가 되기 위해서 성인콘텐츠를 제한하는 것으로 보인다. 그래도 누드 사진은 허용한다는 듯. 팬 기반의 서비스 문화는 점쳐 커져가고 있다.

    +++

    OnlyFans no longer plans to ban porn, saying in abrupt U-turn that it wants to be a ‘home for all creators’

    결정을 번복한다는 기사. 펀딩과 관련이 있다는 말이 있지만 주 고객층을 버리는 것이 기업의 경쟁력과 연결될텐데 쉬운 일은 아니다.

  • 트위터의 조직문화 변화와 갈등

    Culture Change and Conflict at Twitter

    By Kate Conger, The New York Times 

    한창 때 트위터는 여러 가능성으로 많은 주목을 받았지만 새로운 제품 개발의 지연, 투자자들의 압력, 이용자의 불만과 같은 다양한 문제를 겪었다. 최근에는 혁신적인 변화를 보여주기 위한 다양한 서비스를 시도했다. 물론 금새 종료한 서비스들이 많지만 뒤늦게 변화하는 모습을 보여주는 듯 했다.

    혁신을 위해 새로운 경영진을 데려오며 조직의 문제가 발생했다는 것을 보여주는 뉴욕타임즈의 기사. 새로운 디자인 부사장 데이비스는 서로서로 칭찬과 비판을 할 것을 요구했고 많은 직원들이 부담감을 느끼고 회사를 떠났다는 이야기도 있다.

    친절한 문화(nice culture)라고 부르는 것은 조직 생활에서 많이 경험하게 되는 것 중 하나이지만 과도한 경우 조직 문화에 부정적 영향을 가져온다. 친절한 문화가 가지는 위험성으로 위기에 대한 대응을 어렵게 하고, 혁신을 제한하고, 인력 유출을 가져오며, 의사 결정의 속도를 늦춘다고 이야기한다.

    데이비스 같은 스타일의 리더십이 옳은 것인가? 조직에서는 많은 불만을 이야기했다는 언급도 있다.

    데이비스는 직설적인 스타일 때문에 직원들과 반복적으로 충돌했습니다. 직원에 대한 그의 대우는 또한 트위터의 직원 관계 부서에서 여러 조사의 대상이 되었고 CEO인 잭 도시에게 너무 많은 사람들이 떠나고 있다는 불만을 표출하기도 했습니다.[expand title=eng]

    Mr. Davis repeatedly clashed with employees because of his blunt style. His treatment of workers was also the subject of several investigations by Twitter’s employee relations department, and of complaints to Jack Dorsey, the chief executive, that too many people were leaving.[/expand]

    이러한 것을 어떻게 할 것인지는 언제나 문제가 된다.

    그는 문화적 엉망징창은 직원들을 짜증나게 하고 때로는 재정적 불안정을 야기하기도 한다고 말했습니다. “이러한 두 가지 사이에 균형이 있습니다. 사회화와 강력한 문화를 통해 그것을 할 것인가, 아니면 돈과 사람들을 단속하는 것을 통해 할 것인가”[expand title=eng]

    Cultural shits rile employees and sometimes cause financial instability, he said. “There is always this balance between: Do we do it by socialization and having a strong culture, or do we do it with money and cracking down on people?”[/expand]

    조직을 개선하려는 시도는 최근 다양한 테크 기업에서 나타나고 있는데 문화란 한 번 자리잡으면 쉽게 바꾸기 어려운 것이다. 리더십에 대한 일반적인 가치평가를 떠나 조직 문화 개선을 위해 어떤 종류의 리더십이 타당한지에 대해 생각해보게 된다.

  • OpenAI 소프트웨어 코드 자동화 소프트웨어 Codex

    OpenAI

    GPT-3 모델을 만든 OpenAI에서 공개한 또 다른 ML 프로젝트인 Codex. 자연어 입력을 통해 소프트웨어 코드를 작성할 수 있도록 만들어준다. 사이트에는 간단한 탄막 피하기류 게임 만드는 영상부터 데이터 분석에 이르기까지 몇 가지 사례가 나와있다.

    유튜브 영상을 보면 데모를 볼 수 있는데 생각하고 판단하는 인공지능은 아니지만 많은 부분을 자동화하는 모습을 확인할 수 있다.

    프로그래머가 무엇을 빌드해야 하는지 알게 되면 코드를 작성하는 행위는 (1) 문제를 더 단순한 문제로 분해하고 (2) 이러한 단순한 문제를 이미 존재하는 기존 코드(라이브러리, API 또는 함수)에 매핑하는 것으로 생각할 수 있습니다. 후자의 활동은 아마도 프로그래밍에서 가장 재미없는 부분(그리고 진입 장벽이 가장 높음)이며 OpenAI Codex가 가장 뛰어난 부분입니다.[expand title=eng]

    Once a programmer knows what to build, the act of writing code can be thought of as (1) breaking a problem down into simpler problems, and (2) mapping those simple problems to existing code (libraries, APIs, or functions) that already exist. The latter activity is probably the least fun part of programming (and the highest barrier to entry), and it’s where OpenAI Codex excels most.[/expand]

    머신러닝으로 “이미지 인식이 되네. 자연어 처리가 되네!”라고 했던게 2014년 언저리부터 지속되어 온 일이라면, 이러한 것으로 무엇을 어떻게 더 할 수 있을지에 대한 내용을 보는 것이 새로운 흐름이 되지 않았나 싶다.

  • 데미안 허스트 NFT 프로젝트

    데미안 허스트의 새로운 프로젝트에 관한 토론 영상을 보고 흥미로워 보여서 프로젝트에 대한 내용을 조금 찾아보았다. 다음은 Fast Company에 나왔던 짧은 소개 기사다.

    영국 예술가 Damien Hirst의 최신 프로젝트 The Currency는 두 가지 형태의 작품입니다. 작품의 물리적 형태는 손으로 그린 다채로운 점들로 덮여 있는 10,000장의 ​​A4 용지입니다. 지폐와 같은 방식으로 각 시트에는 허스트의 홀로그램 이미지, 서명, 마이크로닷이 포함되어 있으며 일련 번호 대신 작은 개별 메시지가 있습니다.

    작품의 두 번째 부분은 이 손으로 그린 ​​각 시트에 해당 NFT(대체 불가능 토큰)가 있다는 것입니다. NFT는 블록체인으로 알려진 보안 온라인 원장에 존재하는 디지털 소유권 인증서입니다.

    The Currency가 작동하는 방식은 수집가가 실제 작품을 즉시 구매하지 않는다는 것입니다. 대신 NFT에 대해 2,000달러를 지불하고 1년 동안 디지털 버전을 원하는지 아니면 실제 버전을 원하는지 결정해야 합니다. 수집가가 하나를 선택하면 다른 하나는 파괴됩니다.[expand title=eng]

    English artist Damien Hirst’s latest project, The Currency, is an artwork in two forms. Its physical form is 10,000 unique hand-painted A4 sheets covered in colorful dots. In the same way as paper money, each sheet includes a holographic image of Hirst, a signature, a microdot, and—in place of a serial number—a small individual message.

    The second part of the artwork is that each of these hand-painted sheets has a corresponding NFT (nonfungible token). NFTs are digital certificates of ownership that exist on the secure online ledgers that are known as blockchains.

    The way The Currency works is that collectors will not be buying the physical artwork immediately. Instead, they will pay $2,000 for the NFT and then have a year to decide whether they want the digital or the physical version. Once the collector selects one, the other will be destroyed.[/expand]

    화폐란 무엇인지 본질적인 속성에 대한 의문을 제기하는 프로젝트라고 말한다. 가치란 가치를 부여하는 커뮤니티의 맥락과 떨어져서 존재하기는 어려운데, 데미안 허스트의 프로젝트에는 두 가지 커뮤니티가 있다. 실제 예술 작품을 소유하고 그것에 가치를 부여하는 커뮤니티와 디지털 버전을 소유하고 그것이 진짜 소유라고 생각하는 커뮤니티이다. 구매한 사람들이 어떤 것을 선택할지는 1년이 지나 알게 될 것이다.

  • 뉴스과잉과 뉴스다이어트

    What’s the healthiest news diet? Probably traditional media, but don’t gorge yourself: Too much can leave you less informed

    By JOSHUA BENTON, Nieman Lab

    International Journal of Press / Politics가 유럽 17개 국가의 뉴스 이용을 조사하여 기존 미디어 이용이 정치적 IQ에 적합하다는 결과를 제시했다. 뉴스 이용자를 뉴스 미니멀리스트 , 소셜 미디어 뉴스 사용자 , 전통 주의자 , 온라인 뉴스 탐색자 및 하이퍼 뉴스 소비자로 구분하고 정치적 지식과 관계를 살펴보았다.

    … 주요 발견은 두 개의 이용자 프로필 (전통 주의자 및 온라인 뉴스 탐색자)만이 나머지 이용자 프로필과 비교하여 정치적 지식과 긍정적이고 일관되게 상호 연관되어 있다는 것입니다.

    구체적으로, 결과는 더 선택적이고 풍부한 온라인 뉴스 다이어트를 한 사람(온라인 뉴스 탐색자)이 전통 및 공적 미디어를 사용하는 사람들을 제외하고 모든 뉴스 사용자 그룹에 비해 더 높은 수준의 감시 지식을 보유 할 가능성이 더 높다는 것을 보여줍니다. 나머지 모든 사람들보다 상대적으로 더 잘 알고 있습니다.

    놀랍게도 뉴스 프로필의 하이퍼 소비자는 정치적 지식과의 중요하지 않은 연관성을 보여 주거나 (전통적이고 온라인 뉴스를 찾는 사람들과 비교할 때) 심지어 음의 상관 관계를 보입니다. 우리는 논문의 마지막 섹션에서 더 광범위하게 논의 하듯이 가장 그럴듯한 설명은 정보 과부하에서 비롯 될 것으로 예상합니다.[expand title=eng]

    …a key finding is that only two user profiles (traditionalists and online news seekers) are positively and consistently correlated with political knowledge compared to the rest of the user profiles…

    More specifically, the results show that those having a more selective and richer online news diet (online news seekers) are more likely to hold higher levels of surveillance knowledge compared to all groups of news users with the exception of those using traditional and public media, who are comparatively better informed than all the rest.

    Strikingly enough, the hyper consumer of news profile shows either nonsignificant associations with political knowledge or (when compared with traditional and online news seekers) even negative correlations. We anticipate the most plausible explanation thereof stems from information overloads, as we more extensively discuss in the final section of the paper.[/expand]

    연구 결과는 하이퍼 뉴스 소비자와 정치적 지식의 상관관계가 부정적 결과로 나온 것을 정보과잉으로 설명하고 전통 미디어가 가장 좋은 방법이라고 이야기하는데 국내에서 같은 방식의 조사를 해도 비슷한 결과를 보일지 궁금하다. 극단적인 이용자를 제외하면 역시나 같은 결과가 나올까.