by Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, ProPublica, Machine Bias
프로퍼블리카에 올라온 장문의 글이다. 긴 글을 보는건 부담스럽지만 흥미로운 내용이라서 적어놓는다. 국내 법정에서도 이런 방식을 사용하는지는 모르겠지만 미국에서는 범죄에 대한 법정 판결에서 위험 평가(risk assessment)라는 것을 참고하는가보다. 간단하게 이야기하면 다음과 같다.
- (위험 평가) 공식은 흑인 피고인들에게 미래 범죄자라고 잘못 표시할 가능성이 있다. 이런 식으로 잘못 낙인찍히는 흑인 피고인들이 백인에 거의 두 배 가까이 된다.
- 백인 피고인들은 흑인 피고인들에 비해 종종 낮은 위험을 가진 것으로 잘못 판정된다.
범죄 관련 연구에서 오랫동안 미래의 범죄를 예측하려고 노력해왔고, 1970년대와 같은 초기에는 인종, 국적, 피부색과 같은 요인들이 사용되기도 했다. 그 이후로 다양한 연구들이 이루어진 것 같다. 최근 2016년 연구에서는 흑인들이 더 높은 점수를 받지만 편견이 원인이 아니라고 결론지었다. 하지만 실제 기사에 나오는 사례들을 보면 재범률이 낮음에도 불구하고 흑인이기 때문에 높은 점수를 받았다는 사례들이 제시된다. 중요한 것은 이런 평가 과정 자체를 명확히 알 수 없다는 것이다.
피고인들은 그들의 평가에 이이를 제기할 기회를 거의 가지지 못한다. 결과는 피고인의 변호사와 공유되지만 기반하는 데이터로부터 점수로 변환된 계산은 거의 밝혀지지 않는다. [expand title=English]
Defendants rarely have an opportunity to challenge their assessments. The results are usually shared with the defendant’s attorney, but the calculations that transformed the underlying data into a score are rarely revealed.[/expand]
통계라는게 세상이 확률적이라는 가정 아래서 미래의 사건을 예측하려는 것이지만 오차가 발생할 수밖에 없다. 데이터와 알고리즘에 기반한 예측이 인간 개인에게 적용되었을 때 과연 공정하다고 말할 수 있을까. 과거 데이터를 기반으로 분류하는 통계적 방법이 연좌제 같다는 생각이 들기도 한다.