Double Hard-Debias: Tailoring Word Embeddings for Gender Bias Mitigation
세일즈포스(salesforce)와 버지니아 대학 연구자들이 제시한 워드 임베딩의 성적 편향을 완화하는 방법에 대한 내용이다.
워드 임베딩은 단어전체에서 단어를 나타내는 실제 숫자로 이루어진 벡터로 단어와 다른 단어의 관계에 대한 의미론적 구문론적인 뜻을 포착할 수 있게 해준다. 자연어 처리 작업에 널리 활용됨에도 코퍼스에 대한 학습과정에서 의도하지 않은 성적인 편견을 물려받는 것으로 인한 비판을 받았다.
예를 들면, 다음의 두 가지 기준(남성과 여성 / 젠더중립과 특정젠더)으로 단어를 분류한다면 우수한(brilliant), 똑똑한(genius)과 같은 단어는 젠더 중립적이고 숙녀(ladies), 여왕(queen) 같은 단어는 특정젠더에 속하는 단어이다.
이와 같은 문제를 알고리즘에 대한 비판으로 접근하는 것과 관련해 사람들이 그러한 방식으로 언어를 사용하기 때문이고, 알고리즘은 이러한 내용을 순수하게 반영하는 것이라는 단순한 실재론에 가까운 입장이었다. 오히려 알고리즘을 의인화하는 방식의 비판에 대해서 부정적이었으나 실제로 이런 학습과 관련된 문제를 적극적으로 교정하는 것이 점차 중요해진다. 예를 들어, 젠더 편견을 가진 시스템으로 이력서 필터링을 하는 경우 어떤 일이 생길 것인가? 이미 비슷한 사례가 많이 제시되었다.
기존 방식은 사후 처리 과정에서 성별 관련 구성 요소를 주성분 요소를 빼서 편견을 줄이는 방식이라고 한다. 하지만 이러한 방식이 가지는 한계는 단어의 빈도로 인해 제거된 젠더편향이 되살아날 수 있다는 점이다. 본 연구에서 제시한 방식은 워드 임베딩을 빈도가 없는 하위 공간으로 전환하는 과정을 거친다는 것이다. 대충 느낌은 오지만 실제로 데이터를 돌려봐야 정확하게 파악할 수 있을 것 같다.
일부 전문가들은 단어 삽입에서 편견을 완전히 제거 할 수 없다고 생각하는 것은 가치가 있습니다. 뮌헨 기술 대학 (Technical University of Munich)의 최근 메타 분석에서, 기고자들은 단어의 의미 론적 내용이 항상 사회의 사회 정치적 맥락에 묶여 있기 때문에 자연적으로 발생하는 중립적 텍스트와 같은 것은 없다고 주장합니다. [expand title=eng]
It’s worth noting that some experts believe bias can’t be fully eliminated from word embeddings. In a recent meta-analysis from the Technical University of Munich, contributors claim there’s “no such thing” as naturally occurring neutral text because the semantic content of words is always bound up with the sociopolitical context of a society.[/expand]
알고리즘도 현실을 반영하는 하나의 미디어로 결국은 언어와 세상에 관해 어떤 관점을 가져가는지에 대해 고민할 필요가 있다. 완전 중립적이라는 것은 존재하지 않지만 이러한 편향을 줄이는 것이 가지는 의미에 대해 생각해볼 필요가 있지 않을까.