by Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, ProPublica, Machine Bias

프로퍼블리카에 올라온 장문의 글이다. 긴 글을 보는건 부담스럽지만 흥미로운 내용이라서 적어놓는다. 국내 법정에서도 이런 방식을 사용하는지는 모르겠지만 미국에서는 범죄에 대한 법정 판결에서 위험 평가(risk assessment)라는 것을 참고하는가보다. 간단하게 이야기하면 다음과 같다.

  • (위험 평가) 공식은 흑인 피고인들에게 미래 범죄자라고 잘못 표시할 가능성이 있다. 이런 식으로 잘못 낙인찍히는 흑인 피고인들이 백인에 거의 두 배 가까이 된다.
  • 백인 피고인들은 흑인 피고인들에 비해 종종 낮은 위험을 가진 것으로 잘못 판정된다.

범죄 관련 연구에서 오랫동안 미래의 범죄를 예측하려고 노력해왔고, 1970년대와 같은 초기에는 인종, 국적, 피부색과 같은 요인들이 사용되기도 했다. 그 이후로 다양한 연구들이 이루어진 것 같다. 최근 2016년 연구에서는 흑인들이 더 높은 점수를 받지만 편견이 원인이 아니라고 결론지었다. 하지만 실제 기사에 나오는 사례들을 보면 재범률이 낮음에도 불구하고 흑인이기 때문에 높은 점수를 받았다는 사례들이 제시된다. 중요한 것은 이런 평가 과정 자체를 명확히 알 수 없다는 것이다.

피고인들은 그들의 평가에 이이를 제기할 기회를 거의 가지지 못한다. 결과는 피고인의 변호사와 공유되지만 기반하는 데이터로부터 점수로 변환된 계산은 거의 밝혀지지 않는다. English

Defendants rarely have an opportunity to challenge their assessments. The results are usually shared with the defendant’s attorney, but the calculations that transformed the underlying data into a score are rarely revealed.

통계라는게 세상이 확률적이라는 가정 아래서 미래의 사건을 예측하려는 것이지만 오차가 발생할 수밖에 없다. 데이터와 알고리즘에 기반한 예측이 인간 개인에게 적용되었을 때 과연 공정하다고 말할 수 있을까. 과거 데이터를 기반으로 분류하는 통계적 방법이 연좌제 같다는 생각이 들기도 한다.