Python & R vs. SPSS & SAS By Jeroen Kromme, www.r-bloggers.com
SAS, SPSS, R, Python의 장단점에 대해 이야기한 글이다. 몇 가지 부분에서 SAS & SPSS와 Python & R의 장단점을 비교하고 있다. SAS와 SPSS는 아카데미 환경에서 발전했고 가설검증에 초점을 맞추고 있다. 다른 분석에도 쓰일 수 있으나 추가 라이센스가 필요하다. 반면에 Python, R의 장점은 오픈소스이고 계속해서 기능들이 추가되고 있다는 점이다. Python, R의 단점으로는 코딩에 익숙하지 않은 사람들이 초반에 진입하기에 학습이 많이 필요하다는 점이다.
나는 STATA를 쓰고 있는데 문서로 결과를 내는 과정까지 생각하면 Python이나 R 중 하나로 통일해서 쓰는게 낫지 않을까 하는 생각도 든다.
“외주는 그만”…내부 개발자 직접 키우는 싱가포르 정부
By 이지현, www.bloter.net
조직 내부에서 개발자를 직접 채용한다는 싱가폴 정부 사례를 이야기한 블로터 기사. 예전 조직에서 IT시스템을 도입한다는 것은 업무 효율을 위한 관리 시스템을 사내 구축하는 것을 의미했다. 이런 경우 조직 내부에서 개발인력을 보유하고 유지하는 것보다 아웃소싱을 통해 솔루션을 구입하는 것이 유리했다. 하지만 최근 테크놀로지라는 것은 단순히 조직의 효율성을 위해 특정 시스템을 도입하는 것의 문제를 벗어나지 않았나 하는 생각이 든다.
거브테크에 들어오기 위해선 일종의 코딩 테스트를 거쳐야 한다. 기술에 대한 최소한의 지식이 있는지 확인하기 위해서다. 체오 호 첸 CIO는 “아웃소싱을 계속하면 기술을 구매할 때 무엇이 중요한 건지, 특정 기술이 가진 가치에 대해 잘 모르게 된다”
모든 업무들이 테크놀로지와 연관성을 가지게 되면서 조직 구성원들이 기술에 대한 어느 정도의 이해를 기본으로 갖추는 것이 필요해졌다. 이런 상황에서 아웃소싱을 통해 단순히 솔루션을 구입하는 형태로는 조직 내부에 문제 해결을 위한 역량이나 지식 축적이 되지 않는다는 것을 의미한다. 인용한 부분이 정확히 현재 많은 조직들이 테크놀로지 인력들을 끌어안아야 하는 이유를 설명해준다는 생각이 든다.
Meet The Man Whose Site Mark Zuckerberg Reads Every Day
By Charlie Warzel, www.buzzfeed.com
얼마전 RSS 목록을 한 번 정리했지만 여전히 포함되어 있는 테크 뉴스 사이트 중 하나가 Techmeme이다. 주커버그, 피차이 등 테크 업계 유명한 사람들이 모두 본다는 사이트이다. Techmeme을 만든 Gabe Rivera에 대한 Buzzfeed 글. 내용은 긴데 여러가지 재미있는 부분들이 많다. 다 정리할 수는 없지만 일부만 옮겨놓는다.
Techmeme 성공은 인기있는 웹사이트에 대한 최근의 상식들에 저항했기 때문인 것처럼 보인다. Techmeme은 자사 보도는 하나도 내지 않으며 소셜 네트워크 사이트도 아니다. 모바일 앱이나 뉴스레터, 혹은 트위터 계정과 같은 사회적 존재감도 가지고 있지 않다. 수익은 스폰서 포스트와 “who’s hiring” 페이지에서 발생한다 (Rivera는 외부 자금 조달을 모색하지 말 것을 이야기한다). 헤드라인은 제품홍보와 같은 거추장스러운 이야기들을 사실로 뿌려놓은 형태이다. 예를 들면 테크크런치의 헤드라인 “페이스북과 구글이 2016년 Top 앱 리스트에 올랐다”는 내용을 테크밈은 “닐슨의 월 이용자별 Top 앱에 따르면 페이스북은 전년대비 14%증가 146M, 메신저는 28% 증가 129M, 유투브는 20% 증가한 113M, 아마존은 10위 43%증가한 65M” 으로 바뀐다. [expand title=Eng]
Everything about Techmeme and its lingering success seems to defy the contemporary wisdom of building a popular website. It publishes zero original reporting and is not a social network. It doesn’t have a mobile app or a newsletter or even much of a social presence beyond its Twitter account, which posts dry commodity news with zero flair for clickability. Revenue comes from sponsored posts and a “who’s hiring” page (Rivera makes a point not to seek any outside funding). Its headlines are typically fact-spattered and unwieldy synopses of the stories they tout; consider, for example, the perfectly serviceable TechCrunch headline “Facebook & Google Dominate The List Of 2016’s Top Apps,” which Techmeme transformed into this grand mountain range of a title: “Nielsen’s 2016 top apps by monthly uniques: Facebook, up 14% YoY to 146M; Messenger, up 28% to 129M; and YouTube, up 20% to 113M; Amazon hits #10, up 43% to 65M.”[/expand]
저널리스트인지 물어본 질문에 대해 이야기한 답변도 재미있다.
AI makes pop music in the style of any composer (the Beatles too!)
[iframe id=”https://www.youtube.com/embed/LSHZ_b05W7o”]
1) LSDB라는 데이터 베이스를 만든다. 다양한 스타일과 작곡가들의 리드시트 약 13,000를 포함하고 있다.
2) 인간 작곡가는 FlowComposer라는 시스템을 가지고 스타일과 생성될 리드시트(멜로디+하모니)를 선택한다. Daddy’s Car 경우에는 비틀즈 스타일을 선택했고, Mr. Shadow는 “아메리칸 작곡가” 스타일을 선택했다.
3) Rechord 라는 다른 시스템을 가지고 인간 작곡가는 생성된 리드 시트에 다른 노래의 오디오 녹음에서 일부 오디오 덩어리들을 붙어녛는다.
4) 인간 음악가는 프로덕션과 믹싱을 마무리한다.
[expand title=Eng]
1) We set up a database called LSDB. It contains about 13000 leadsheet from a lot of different styles and composers (mainly jazz and pop about also a lot of Brazilian, Broadway and other music styles).2) The human composer (in this case Benoît Carré, but we are experimenting with other musicians as well) selected a style and generated a leadsheet (melody + harmony) with a system called FlowComposer. For Daddy’s Car, Carré selected as style “the Beatles” and for Mr. Shadow he selected a style that we call “American songwriters” (which contains songs by composers like Cole Porter, Gershwin, Duke Ellington, etc).
3) With yet another system called Rechord the human musician matched some audio chunks from audio recordings of other songs to the generated leadsheets.
4) Then the human musician finished the production and mixing.[/expand]
창작이라는게 결국 기존 것들의 조합인데 최근 느끼는 건 결국 기존 만들어진 로데이터가 가장 중요한 것 아닌가 하는 생각이 든다.
‘페이스북 방문자 추적기’, 왜 ‘토큰’을 달라고 하시나요?
블로터의 기사인데 여러가지로 재미있어서 올려놓는다. 예전 싸이월드 시절에도 비공식 방문자 추적기 같은 걸 사용하는 사람들이 있었고 내가 아는 가까운 사람도 그걸 사용했었다. 구남친의 여자친구가 계속 자기 미니홈피에 들어오는걸 확인하고 항의했다가 여자친구의 신고로 싸이월드 정지를 받았던 기억이 난다.
페이스북에서도 누가 내 페이지를 방문하는지 궁금해 하는 사람들의 욕망은 여전한가 하는 생각이 든다. 방문자 추적을 위해 토큰을 달라고 하는데 이는 페이스북에서 계정 권한을 넘겨주는 키 같은 것이다. 받아가는 업체가 거의 대부분의 권한을 받아가는 것으로 보인다.
실제 자신의 타임라인을 방문한 사람 데이터를 페이스북으로부터 받아서 제공하는 것은 당연히 아닙니다. 업체 측은 “방문자 추적기는 5가지 가설을 세워서 기능을 넣었다”라며 “100% 완벽하게 추적을 완료하는 게 아니라, 5가지 방법을 교차해서 방문자를 예측하는 서비스”라고 설명했습니다.
페이스북도 아닌데 방문자를 정확히 파악할 수 없고 알고리즘으로 예측하는 수준인데 어떻게 알 수 있겠는가.
Pew: Younger adults more likely than their elders to prefer reading news
퓨 리서치에서 나온 연구결과. 비디오에 투자해야 한다는 이야기들을 많이 하는데 젊은 사람들은 오히려 읽는 것을 좋아한다고.
개인적으로는 이해가 되는 것이 비디오는 보기 위해서 너무 오랜 시간을 기다려야 한다는 느낌이 있다. 바쁜데 빠르게 원하는 내용을 찾아보기에는 텍스트가 훨씬 편하다. 그래서 뉴스를 보는 것은 모든 세대에서 온라인보다 TV를 더 선호한다.
WHY DEEP LEARNING IS SUDDENLY CHANGING YOUR LIFE
By Roger Parloff, fortune.com
딥 러닝에 대해 정리한 fortune 기사. 초기 뉴럴 네트워크부터 현재에 이르기까지 과정을 정리하며 왜 딥 러닝이 갑자기 주목을 받게 되었는지에 대해 설명한다. 꽤나 길지만 전반적인 흐름을 이해하기 좋은 기사.
5년 전에 딥 러닝이 무엇인지 모르던 벤처 캐피털리스트도 오늘날 딥 러닝을 하지 않는 스타트업에 대해 경계한다.”우리는 정교한 소프트웨어 애플리케이션을 제작하는 것이 필수가 된 시대에 살고 있다.” 사람들은 곧 “어떤 자연어 처리 버전인가?”,”앱과 대화하기 위해서는 어떻게 해야 하느냐. 나는 메뉴를 클릭하고 싶지 않다”와 같은 요구를 할 것이다.
[expand title=Eng]
Venture capitalists, who didn’t even know what deep learning was five years ago, today are wary of startups that don’t have it. “We’re now living in an age,” Chen observes, “where it’s going to be mandatory for people building sophisticated software applications.” People will soon demand, he says, “ ‘Where’s your natural-language processing version?’ ‘How do I talk to your app? Because I don’t want to have to click through menus.’ ”[/expand]
Facebook, Twitter, and Instagram surveillance tool was used to arrest Baltimore protestors
By Russell Brandom, www.theverge.com
ACLU of Northern Califorrnia에서 새롭게 출간된 조사보고서에 따르면, 수 년 간 인스타그램 트위터 페이스북은 소셜 미디어 감시 도구를 마케팅하는 기업에게 데이터를 제공해왔다. Geofeedia는 기업의 API를 시위 지역에서 소셜 미디어 활동들의 실시간 지도를 제작하기 위해 사용했다. 이후 지도는 시위자들의 식별을 위해 사용됐고, 어떤 경우에는 포스트가 공개되고 난 이후 체포되기도 했다. 모든 이러한 서비스는 관련된 API 접속이 차단된 이후 종료되었다.
[expand title=Eng]
For years, Instagram, Twitter, and Facebook have provided data to a company marketing social media surveillance tools to police, according to a newly published investigation by the ACLU of Northern California. Geofeedia used the company’s APIs to create real-time maps of social media activity in protest areas, maps which were subsequently used to identify, and in some cases arrest, protestors shortly after their posts became public. All three services have terminated Geofeedia’s access to the relevant APIs.[/expand]
페이스북은 Geofeedia가 데이터를 미디어나 브랜드 관련 목적으로 사용하지 않았기 때문에 API에 대한 접속을 종료했다고 말했다. 페이스북 규정에 따르면 API는 특별한 토픽에 대한 포스트를 찾는 미디어 기업과 마케터들을 위해 제작되었다고 한다.
지난 이야기들이지만 읽고도 정리해놓지 않아서 최근 팩트 체킹과 관련해서 나온 몇 가지 내용들을 정리해놓는다.
구글은 지난 주 구글 뉴스에 팩트체크 태그를 추가했다. techcrunch 기사에 따르면
Schema.org의 ClaimReview가 팩트 기반을 제공하는 기사를 편집하고 정리하는데 사용된다. 스키마 커뮤니티는 인터넷의 구조화 된 데이터를 위한 마크업들을 만든다. 커뮤니티는 구글의 지원을 받지만 마이크로소프트, 야후, 얀덱스1의 지원 역시 받고 있다. [expand title=Eng] ClaimReview from Schema.org will be used to compile and organize stories offering factual background. The Schema community builds markups for structured data on the internet. The group is sponsored by Google but also has support from Microsoft, Yahoo and Yandex. [/expand]
구글은 팩트 체크 부정 사용에 대해서도 제재할 것이라는 사실을 밝혔다.
“ClaimReview 마크업을 따르지 않는 사이트들을 발견한다면, 재량에 따라 사이트의 마크업을 무시하거나 구글 뉴스에서 삭제할 수 있음을 밝힙니다” [expand title=Eng] “Please note, that if we find sites not following those criteria for the ClaimReview markup, we may, at our discretion, either ignore that site’s markup or remove the site from Google News.”[/expand]
구글과 달리 페이스북은 트렌딩 토픽의 가짜 뉴스들과 관련해서 계속 언급되고 있다. fortune
페이스북이 사람 편집자를 대부분 알고리즘 기반 큐레이션으로 변경한지 얼마 지나지 않아, 사이트는 폭스 뉴스의 Megyn Kelly 해고와 관련된 가짜 뉴스로 불명예를 얻었다. 그걸로는 충분하지 않았다는 것처럼, 페이스북은 9/11 WTC 붕괴가 테러리스트의 공격이라기보다는 “통제된 폭발”로 인한 결과라고 언급하는 가짜 웹 사이트를 트렌딩 토픽에 올렸다. [expand title=Eng] Not long after Facebook switched from using human editors to mostly algorithm-driven curation, the site suffered a black eye when a fake story about Fox News firing host Megyn Kelly started trending. As if that wasn’t bad enough, the social network then highlighted a story from a 9/11 hoax website in the trending-topics section, which stated the collapse of the World Trade Center buildings was a result of “controlled explosions” rather than a terrorist attack.[/expand]
구글이 하니 페이스북 차례라는 기사도 있었다.(Google added fact checking: Facebook, it’s your move now)
페이스북 트렌딩과 관련해서는 워싱턴 포스트 기사
얀덱스는 러시아에서 60%의 시장 점유율을 차지하는 러시아 최대의 검색 엔진을 운영하는 인터넷 기업이다. 또, 수많은 인터넷 기반 서비스와 제품들을 개발한다. ↩
AT&T Is Buying Time Warner Because the Future is Google
By Klint Finley, www.wired.com
며칠전 AT&T의 타임워너 인수와 관련된 이야기.
구글, 페이스북, 아마존, 넷플릭스와 같은 인터넷 기업들은 새로운 미디어 기업들이다. 전통적인 텔레비전과 영화 기업들에게 직접적인 위협적인 모습을 보이며 막대한 양의 비디오를 온라인으로 전송한다. 그러나 그들은 또한 AT&T와 버라이즌 같은 기업들을 위협하며 텔레콤 기업이 되어가고 있다.
[expand title=Eng]
Internet firms like Google and Facebook and Amazon and Netflix are the new media companies. They deliver enormous amounts of video online, posing a direct threat to old-school television and movie companies. But they also are becoming telecoms, threatening the likes of AT&T and Verizon.[/expand]
페이스북이나 구글은 직접적인 망에 대한 투자에도 참여하고 있다. 알파벳 자회사로 있는 파이버 같은 걸 떠올려봐도 알 수 있다.
AT&T와 타임워너의 인수합병거래는 두 실세를 결합한다. AT&T는 가장 큰 유료 TV 공급자이고, 두 번째로 큰 무선 인터넷 공급자이며, 세 번째로 큰 가정용 인터넷 공급자이다. 타임워너는 여러가지 복잡한 미디어 자산들을 소유한다. HBO, CNN, 워너브라더스, DC코믹스, TBS, TNT, 카툰 네트워크, 그리고 많은 라이브 스포츠 이벤트 방송권을 가진다. 그러나 타임 워너 케이블은 소유하지 않는다. (Charter Communication에 인수) [expand title=Eng]
The proposed AT&T/Time Warner deal combines two powerhouses. AT&T is the nation’s largest pay TV provider, the second-largest wireless provider, and the third-largest home Internet provider.Time Warner owns a dizzying array of media properties, including HBO, CNN, Warner Brothers, DC Comics, TBS, TNT, the Cartoon Network and broadcast rights to many live sporting events. But it does not own Time Warner Cable, a separate entity that the cable company Charter Communications bought earlier this year.[/expand]
이러한 인수에 대해서 부정적인 이야기도 많은데 무엇을 얻을 수 있을 것이냐는 이야기. Comcast와 NBC Universal 합병때처럼 서로 간 다른 회사에는 제공하지 않는 특별한 계약을 하지 않는다고 언급한 이후 정부 승인이 떨어졌던 것처럼 비슷한 상황이 되지 않을까 하는 시각이 있다.