Artificial Intelligence Act: MEPs adopt landmark law
European Parliament. 24. 3. 13.

빠르게 변하는 불분명한 분야의 규제. 나타나는 효과가 아닌 AI 자체를 규제하려는 시도가 맞을까

이 규정은 고위험 AI로부터 기본권, 민주주의, 법치, 환경적 지속가능성을 보호하는 동시에 혁신을 촉진하고 유럽을 이 분야의 리더로 자리매김하는 것을 목표로 합니다. 이 규정은 잠재적 위험과 영향 수준에 따라 AI에 대한 의무를 규정하고 있습니다.

금지된 애플리케이션

새로운 규정은 민감한 특성에 기반한 생체 인식 분류 시스템, 얼굴 인식 데이터베이스를 만들기 위해 인터넷이나 CCTV 영상에서 얼굴 이미지를 비표적 스크래핑하는 등 시민의 권리를 위협하는 특정 AI 애플리케이션을 금지합니다. 직장과 학교에서의 감정 인식, 사회적 채점, 예측적 치안(개인의 프로파일링 또는 특성 평가만을 기반으로 하는 경우), 인간의 행동을 조작하거나 사람의 취약점을 악용하는 AI도 금지됩니다.

법 집행 기관 면제

법 집행 기관에서 생체 인식 시스템(RBI)을 사용하는 것은 원칙적으로 금지되어 있으며, 예외적으로 엄격하게 정의된 경우에만 허용됩니다. “실시간” RBI는 시간과 지리적 범위가 제한되고 특정 사전 사법 또는 행정 허가를 받아야 하는 등 엄격한 안전장치를 충족하는 경우에만 배포할 수 있습니다. 예를 들어 실종자 수색이나 테러 공격 방지 등이 이러한 용도에 포함될 수 있습니다. 이러한 시스템을 사후에 사용하는 경우(“사후 원격 RBI”)는 고위험 사용 사례로 간주되며, 형사 범죄와 관련된 사법적 허가가 필요합니다.

고위험 시스템에 대한 의무 사항

건강, 안전, 기본권, 환경, 민주주의 및 법치에 대한 중대한 잠재적 피해로 인해 다른 고위험 AI 시스템에 대해서도 명확한 의무가 부과될 것으로 예상됩니다. 고위험 AI 사용의 예로는 중요 인프라, 교육 및 직업 훈련, 고용, 필수 민간 및 공공 서비스(예: 의료, 은행 업무), 법 집행, 이주 및 국경 관리, 사법 및 민주적 절차(예: 선거에 영향을 미치는 것)의 특정 시스템이 있습니다. 이러한 시스템은 위험을 평가 및 줄이고, 사용 로그를 유지하며, 투명하고 정확해야 하고, 사람의 감독이 보장되어야 합니다. 시민은 AI 시스템에 대한 불만을 제기하고 자신의 권리에 영향을 미치는 고위험 AI 시스템에 기반한 결정에 대한 설명을 받을 권리가 있습니다.

투명성 요구 사항

범용 AI(GPAI) 시스템과 그 기반이 되는 GPAI 모델은 EU 저작권법 준수, 교육에 사용된 콘텐츠의 상세 요약 게시 등 특정 투명성 요건을 충족해야 합니다. 시스템적 위험을 초래할 수 있는 더 강력한 GPAI 모델일수록 모델 평가 수행, 시스템적 위험 평가 및 완화, 사고 보고 등의 추가 요건에 직면하게 됩니다.

또한 인위적이거나 조작된 이미지, 오디오 또는 비디오 콘텐츠(‘딥페이크’)에는 이러한 사실을 명확하게 표시해야 합니다.