“AI는 똑똑해졌지만, 윤리는 아직 사람이 가르쳐야 합니다”
사람보다 똑똑한 기계가 사람을 차별한다면?
얼마 전, 한 대형 병원의 AI 진단 시스템이 여성 환자에 대해 심각한 오진을 반복한 사례가 보도되었다.
그 이유는 단 하나.
AI가 학습한 데이터 대부분이 남성 중심의 의료 기록이었기 때문이다.
이처럼 AI는 데이터를 기반으로 판단하지만, 그 데이터가 이미 편향되어 있다면?
결과는 더 조용하고, 더 체계적인 차별로 이어진다.
바로 그 지점을 막기 위해 등장한 직업이 AI 윤리 심사관이다.
이들은 AI 시스템이 사용하는 데이터, 알고리즘, 결과물을 검토하며
편향, 차별, 인권 침해 요소를 사전에 탐지하고 수정하는 일을 한다.
오늘 만난 김다은 씨(가명)는 국내 IT 대기업의 AI 윤리 검토실 소속 심사관으로 일하고 있다.
“AI 개발자들은 기능에 집중해요. 정확도를 높이고, 응답 속도를 빠르게 하고.
하지만 우리는 ‘이 기능이 사회적으로 안전한가?’라는 질문부터 던지죠.”
“기계는 중립적이지 않다”는 걸 아는 사람들
AI 윤리 심사관의 하루는 아주 구체적이고, 아주 철학적하다.
김다은 씨는 최근 자율주행차의 판단 알고리즘을 심사하며, 아래와 같은 문제를 다뤘다.
차량이 충돌을 피할 수 없을 때, 누구를 우선 보호할 것인가?
어린이와 노인이 동시에 위험할 경우, 기계는 어떤 판단을 내려야 하는가?
다수의 경미한 피해 vs. 한 명의 심각한 피해, 무엇이 더 윤리적인가?
“이건 기술이 아니라 ‘가치’의 문제예요.
정답은 없지만, 최소한 ‘설명 가능한 기준’은 있어야 하죠.”
그녀는 윤리 심사관의 역할을 세 가지로 설명한다.
데이터 윤리성 확인 – AI가 학습한 데이터에 성차별, 인종차별, 지역 편견이 없는지 분석
알고리즘 공정성 평가 – 결과값이 특정 집단에 불리하거나, 예외를 무시하고 있는지 점검
결과물 투명성 검토 – AI의 판단 이유를 사용자가 이해할 수 있도록 설명 가능한 구조인지 검토
심사관들은 기술적 지식은 물론, 사회학, 심리학, 인권법 등 복합적 시각을 요구받는다.
그래서 이 직업은 아직 드물고, 동시에 매우 필요하다.
윤리 없는 기술은 신뢰도 없다
많은 기업이 AI 윤리 문제를 ‘나중 문제’로 생각한다.
하지만 김다은 씨는 말한다.
“윤리가 처음에 빠지면, 나중에 비용은 훨씬 커져요.
사람을 해고할 때 AI가 결정했다면, 그 결정은 반드시 설명될 수 있어야 해요.
그렇지 않으면 사회적 신뢰는 무너집니다.”
실제로 그녀는 최근, 한 스타트업의 채용용 AI가 여성 지원자에게 낮은 점수를 지속적으로 부여한 사례를 조정했다.
해당 AI는 과거 남성 중심의 고성과자 데이터를 학습했기에, 무의식적으로 여성 지원자의 문체, 이력, 관심 분야를 ‘비효율적’으로 판단하고 있었다.
“그게 ‘성차별’이라는 걸 만든 사람도, 사용하는 사람도 몰랐던 거예요.
우리가 없었다면, 아무도 그걸 문제 삼지 않았겠죠.”
그녀는 이 일이 고된 만큼 보람도 크다고 말한다.
특히 대중이 사용하는 AI 서비스에서 문제를 사전에 막았을 때, 막연한 불신을 줄이는 데 기여했다는 자부심을 느낀다고 했다.
“기계가 중립적일 거라는 환상은 위험해요.
AI도 결국 사람을 따라 배우니까요.
그래서, 그걸 지켜보는 사람도 반드시 필요합니다.”
AI 윤리 심사관은 기술이 진보할수록 더 중요해지는 직업이다.
그들은 인공지능이라는 새로운 존재가 ‘사람을 위한 존재’로 남도록 이끈다.
기술이 아무리 빠르게 진화해도,
도덕은 반드시, 사람이 앞서야 하니까.