How Twitter’s child porn problem ruined its plans for an OnlyFans competitor
By Zoe Schiffer and Casey Newton, The Verge

트위터가 성인용 서비스를 기획하다가 내부적인 문제로 철회한 것과 관련된 기사이다. 트위터는 지속적인 경영상 어려움을 겪어왔고, 이러한 문제의 해결방안으로 생각했던 것이 성인 콘텐츠 수익화이다. 트위터는 ACM(Adult Content Monetization)이라는 프로젝트를 운영하며 내부 레드팀에서 다양한 검토를 거쳤으나, 콘텐츠 조정과 관련된 문제로 프로젝트를 무기한 연기했다.

트위터는 아동 성 착취(Child Sexual Exploit, CSE) 콘텐츠를 탐지할 자원이 부족하고, 직원들은 이를 위한 충분한 리소스가 투입되어야 한다고 이야기했으나 받아들여지지 않았다는 내용이다.

오랜 기간 부실경영의 역사를 가지고 있기에 트위터는 구글과 페이스북 같은 테크 기업 대비 상대적으로 콘텐츠 조정 및 사용자 안전에 훨씬 적은 금액을 투자했다. PhotoDNA 방식의 필터링에서 적발되지 않는 콘텐츠 탐지를 위해 인공지능을 사용하는 추세이지만 여전히 많은 부분 수작업으로 이루어지고 있다는 이야기이다.

2021년 보고서에 따르면 Twitter에서 CSE를 식별하고 제거하는 데 사용하는 프로세스는 매우 부적절합니다. 대규모 회사가 PhotoDNA에 의해 표시되지 않은 자료를 잡을 수 있는 자동화 시스템으로 점점 더 많이 전환하는 시기에 대부분 수동입니다. 보고서에 따르면 Twitter의 주요 시행 소프트웨어는 RedPanda라는 “지원되지 않는 레거시 도구”입니다. 보고서에서 인용한 한 엔지니어는 “RedPanda는 지금까지 우리가 제공하는 도구 중 가장 취약하고 비효율적이며 지원이 부족한 도구 중 하나입니다.eng

The 2021 report found that the processes Twitter uses to identify and remove CSE are woefully inadequate — largely manual at a time when larger companies have increasingly turned to automated systems that can catch material that isn’t flagged by PhotoDNA. Twitter’s primary enforcement software is “a legacy, unsupported tool” called RedPanda, according to the report. “RedPanda is by far one of the most fragile, inefficient, and under-supported tools we have on offer,” one engineer quoted in the report said.

인공지능 기술을 가진 회사와 그렇지 않은 회사 간 격차가 점차 심해질 것이라는 이야기를 확인할 수 있는 사례가 아닌가 싶다.