의료 분야 인공지능의 윤리적 딜레마: 책임감 있는 사용을 위한 초보자 가이드

인공지능은 이미 영상 분석, 위험 예측, 문서 지원, 환자용 채팅 시스템 등 다양한 방식으로 의료 분야에 활용되고 있습니다. 윤리적 문제는 단순히 인공지능이 "좋은" 것인지 "나쁜" 것인지에 대한 것이 아닙니다. 특정 시스템이 환자, 의료진, 지역사회에 용납할 수 없는 위험을 초래하지 않으면서 의료 서비스를 개선하는지 여부가 핵심입니다.

처음 접하는 사람에게 가장 유용한 접근 방식은 의사 결정 과정을 순서대로 따르는 것입니다. 즉, 시스템이 실제로 무엇을 하는지 이해하고, 영향을 받을 수 있는 사람들을 파악하고, 그 근거와 데이터를 확인하고, 담당자의 역할을 정의하고, 문제를 어떻게 감지하고 수정할지 결정하는 것입니다. 이 글에서는 기술적 배경지식을 요구하지 않고 그 과정을 설명합니다.

먼저, "의료 분야의 AI"가 실제로 무엇을 의미하는지 알아야 합니다.

인공지능(AI) 은 인간의 추론, 패턴 인식, 예측 또는 콘텐츠 생성과 관련된 작업을 수행하는 컴퓨터 시스템을 포괄하는 용어입니다. 머신러닝은 AI의 하위 분야로, 모델이 단순히 수동으로 작성된 규칙을 따르는 것이 아니라 데이터로부터 패턴을 학습하는 방식입니다. 생성형 AI는 텍스트, 이미지 또는 요약과 같은 새로운 콘텐츠를 생성합니다. 의학 분야에서 생성형 시스템은 임상 기록을 작성하거나, 환자의 질문에 답변하거나, 차트를 요약할 수 있습니다.

이러한 분류가 중요한 이유는 윤리적 위험이 수행하는 작업에 따라 달라지기 때문입니다. 진료 기록을 작성하는 시스템은 암 검진, 환자 분류, 약물 투여량 또는 진료 접근성에 영향을 미치는 모델과 동일한 위험성을 내포하지 않습니다. 마찬가지로, "AI"라는 단어가 시스템이 자율적이라는 것을 의미하는 것은 아닙니다. 많은 도구는 의료진을 대체하기보다는 지원하도록 설계되었습니다.

세계보건기구(WHO)는 2021년 보건 분야 인공지능(AI) 윤리 및 거버넌스에 관한 기본 지침을 발표하면서 인간의 자율성, 안전, 투명성, 책임성, 포용성, 형평성, 그리고 지속 가능한 사용을 강조했습니다. 이후 WHO는 2025년 3월 , 다양한 유형의 건강 정보를 처리할 수 있는 생성형 시스템의 등장을 반영하여 대규모 다중 모달 모델에 대한 지침을 발표했습니다.

의료 AI 시스템을 평가하거나 사용하기 전에 준비해야 할 사항은 무엇일까요?

인공지능 도구의 윤리성을 묻기 전에, 먼저 그 도구의 사용 목적을 한 문장으로 정리해 보세요. 예를 들어, "이 시스템은 방사선 전문의의 검토를 위해 흉부 X선 사진의 순위를 매깁니다"라고 쓰는 것이 "이것은 인공지능 방사선 플랫폼입니다"라고 쓰는 것보다 훨씬 유용합니다. 사용 목적을 명확히 하면 어떤 오류가 중요한지, 누가 영향을 받는지, 그리고 어느 정도의 인간 감독이 필요한지 알 수 있습니다.

핵심적인 윤리적 딜레마

1. 정확성 대 피해

통계적으로 뛰어난 모델이라 할지라도 특정 워크플로우에서는 안전하지 않을 수 있습니다. 위음성은 치료를 지연시킬 수 있고, 위양성은 불안감을 유발하거나 침습적 검사 또는 불필요한 비용을 초래할 수 있습니다. 따라서 적절한 평가 지표는 임상적 목적에 따라 달라집니다. "정확도"만으로는 민감도, 특이도, 보정 및 하위 그룹 성능 간의 중요한 상충 관계를 간과할 수 있습니다.

초보자에게 유용한 규칙은 발생할 수 있는 최악의 오류가 무엇이며 어떻게 발견될 수 있는지 묻는 것입니다. 만약 답이 "의료진이 알아차릴 것이다"라면, 다음 질문은 실제로 워크플로가 의료진에게 오류를 알아차릴 수 있는 충분한 정보와 시간을 제공하는가 하는 것입니다.

2. 편향 및 불평등한 결과

알고리즘 편향은 집단 간에 불공정하거나 임상적으로 부적절한 차이를 만들어내는 체계적인 패턴입니다. 편향은 대표성이 부족한 훈련 데이터, 과거의 불평등, 측정 방식의 차이 또는 목표 변수의 선택을 통해 발생할 수 있습니다.

널리 사용되는 인구 건강 알고리즘에 대한 2019년 Science지 연구에서 잘 알려진 사례를 찾아볼 수 있습니다 . 연구진은 해당 시스템이 의료비 지출을 건강 필요성의 대리 변수로 사용했기 때문에 인종적 편향이 있음을 발견했습니다. 의료 접근성의 불평등은 질병이 심각하더라도 의료비 지출 감소로 이어질 수 있으므로, 이러한 대리 변수 사용은 추가 치료가 필요한 사람을 왜곡했습니다. 이 사례에서 얻을 수 있는 교훈은 특정 알고리즘 하나에만 국한되지 않습니다. 인종이 명시적으로 입력값에 포함되지 않더라도, 편리한 대상을 선택하면 기존의 불평등이 반영될 수 있다는 것입니다.

배포 전에 해당 도구가 사용될 대상 집단 및 환경에서 평가되었는지 확인하십시오. 배포 후에는 하나의 전반적인 성능 수치만으로는 충분하지 않다고 생각하고, 임상적으로 관련된 여러 그룹 간의 결과를 비교하십시오.

3. 개인정보 보호 대 데이터 수요

인공지능 시스템은 데이터가 많아질수록 성능이 향상되는 경우가 많지만, 의료 윤리에서는 데이터 수집을 무조건적으로 바람직한 것으로 보지 않습니다. 개인정보 보호는 존엄성, 자율성, 신뢰, 그리고 무단 접근이나 2차 사용으로 인한 피해 가능성과 밀접하게 관련되어 있습니다.

미국에서는 HIPAA 보안 규칙이 적용 대상 기관 및 관련 업체가 보유한 전자 보호 의료 정보에 적용되지만, 모든 의료 앱이나 소비자용 AI 서비스가 HIPAA의 적용을 받는 것은 아닙니다. FTC의 의료 정보 유출 통지 규칙은 HIPAA의 적용 대상이 아닌 특정 개인 의료 기록 제공업체 및 관련 기관에 적용될 수 있습니다. 이러한 차이점은 민감한 환자 정보를 소비자용 AI 도구에 포함할 수 있는지 여부를 결정할 때 중요합니다.

실질적인 점검을 위해 모델 제공자에게 어떤 정보가 전송되는지, 어디에 저장되는지, 얼마나 오래 보관되는지, 모델 개선에 사용되는지, 누가 접근할 수 있는지, 그리고 서비스 소유권이나 정책이 변경될 경우 어떻게 되는지 등을 확인하십시오.

4. 설명 가능성 대 성능

설명 가능성이란 시스템이 특정 결과를 생성한 이유나 그 결과를 어떻게 해석해야 하는지를 이해하는 데 도움이 되는 정보를 제공하는 것을 의미합니다. 모든 모델이 간단한 인과 관계를 설명할 수 있는 것은 아니며, 사후에 유려하게 설명된 내용이 모델의 실제 추론 과정을 반영한다는 증거는 아닙니다.

따라서 윤리적 목표는 "모든 모델을 완벽하게 설명 가능하게 만드는 것"이 ​​아닙니다. 오히려 영향을 받는 사람들이 시스템을 안전하게 사용할 수 있도록 충분한 투명성을 제공하는 것입니다. 임상의는 사용 목적, 입력값, 한계, 신뢰도, 검증 대상 집단, 알려진 오류 모드에 대한 정보가 필요할 수 있습니다. 환자는 AI가 중요한 결정에 어떻게 영향을 미쳤는지, 그리고 누가 치료에 대한 책임을 져야 하는지에 대한 명확한 설명이 필요할 수 있습니다.

5. 환자의 동의 및 자율성

자율성 은 환자가 치료에 대해 충분한 정보를 바탕으로 선택할 수 있는 능력을 의미합니다. 인공지능은 그 역할이 눈에 보이지 않을 수 있기 때문에 자율성을 복잡하게 만듭니다. 특히 시스템이 민감한 데이터를 사용하거나 의미 있는 불확실성을 야기하는 경우, 환자는 진단, 치료 권고 또는 우선순위 결정이 알고리즘의 영향을 받았는지 여부에 대해 당연히 관심을 가질 수 있습니다.

모든 백그라운드 소프트웨어 기능에 별도의 동의서가 필요한 것은 아닙니다. 윤리적 기준은 AI의 역할의 중요성, 현지 법률, 기관 정책 및 위험의 성격에 따라 달라집니다. 유용한 원칙은 시스템이 환자에게 영향을 미치는 결정에 더 큰 영향력을 행사할수록 정보 공개에 대한 요구 사항을 강화해야 한다는 것입니다.

6. 사람과 기계가 워크플로를 공유할 때의 책임성

인공지능 추천으로 인해 피해가 발생할 경우, 개발자, 병원, 임상의, 데이터 제공자, 그리고 해당 도구를 설정한 기관 등 누구의 책임인지 추적하기 어려울 수 있습니다. "인간이 개입했다"는 말만으로는 이 문제를 해결할 수 없습니다. 만약 그 인간이 출력 결과에 이의를 제기할 권한, 교육, 시간 또는 정보가 부족하다면 말입니다.

시스템 도입 전에 책임 소재를 명확히 설계해야 합니다. 조직은 시스템 승인 담당자, 승인 취소 권한자, 사고 조사 담당자, 공급업체 연락 담당자, 시스템 사용 중단 여부 결정 담당자, 그리고 영향을 받는 환자와의 소통 담당자를 정확히 파악해야 합니다.

7. 자동화 편향 및 과도한 의존

자동화 편향이란 자동화된 제안을 지나치게 신뢰하는 경향을 말합니다. 의료 분야에서 이는 모순되는 증상을 간과하거나, 검증 없이 생성된 진료 기록을 수용하거나, 순위 목록을 객관적인 진실로 받아들이는 것을 의미할 수 있습니다.

생성형 AI는 또 다른 과제를 제시합니다. 바로 확신에 찬 어조를 내놓지만 근거가 부족한 주장을 생성할 수 있다는 점입니다. 따라서 의료 요약, 환자 메시지, 코딩 제안 또는 의사 결정 지원 시스템에는 검증이 필수적입니다. 사람의 검토는 검토자가 원본 데이터를 직접 확인할 수 있고 필요에 따라 이의를 제기할 수 있을 때 가장 의미가 있습니다.

8. 접근성과 새로운 디지털 격차의 위험성

인공지능은 부족한 전문 인력을 지원하고, 정보를 번역하거나, 일상적인 업무를 자동화함으로써 의료 접근성을 확대할 수 있습니다. 하지만 자원이 풍부한 의료 시스템이 더 안전하고 검증된 도구를 제공받는 반면, 소규모 진료소는 성능이 떨어지는 제품을 사용하거나 이를 모니터링할 인프라를 구축할 여력이 없는 경우, 의료 격차가 더욱 커질 수도 있습니다.

따라서 형평성은 모델 편향 그 이상을 포함합니다. 기술에 접근할 수 있는 사람, 사용하는 언어가 지원되는 사람, 장애 관련 요구 사항이 고려되는지, 시스템이 구형 장비와 호환되는지, 안정적인 인터넷이나 스마트폰이 없는 환자들이 불이익을 받지 않는지 등도 포함됩니다.

인공지능 전문가가 되지 않고 시스템을 평가하는 방법

좋은 질문을 하기 위해 모델의 수학적 원리를 재현할 필요는 없습니다. 도구가 의도된 임상적 용도와 어떻게 연결되는지 보여주는 근거부터 시작하세요. 여러분과 유사한 환경에서의 검증, 여러분의 환자 집단과 일치하는 하위 그룹 결과, 그리고 해당 도구를 사용해서는 안 되는 용도에 대한 명확한 설명 등을 찾아보세요.

다음으로 워크플로를 살펴보세요. 출력 결과는 어디에 나타나나요? 권고 사항인가요, 아니면 자동으로 조치를 유발하는 건가요? 임상의가 이를 무시할 수 있나요? 변경 사항은 기록되나요? 시스템 다운타임 동안에는 어떻게 되나요? 기술적으로 훌륭한 모델이라도 제대로 설계되지 않은 프로세스에 적용되면 안전하지 않을 수 있습니다.

다음으로, 변경 관리 절차를 점검하십시오. AI 시스템은 진화할 수 있습니다. 미국 식품의약국(FDA)은 AI 기반 기기 소프트웨어 기능에 대한 사전 정의된 변경 관리 계획에 관한 최종 지침을 발표했는데 , 이는 특정 계획된 수정 사항을 규제 제출 서류에 어떻게 기술하고 평가해야 하는지에 대한 내용을 담고 있습니다. 규제 대상 기기 외의 분야에서도 이러한 윤리적 교훈은 유용합니다. 조직은 모델이 변경될 때와 새로운 버전을 사용하기 전에 어떤 증거가 필요한지 알고 있어야 합니다.

결과가 충분히 좋은지 어떻게 알 수 있을까요?

책임감 있는 시스템 도입은 단순히 유망한 기준점을 제시하는 것 이상의 결과를 가져와야 합니다. 실제 환경에서 시스템이 제대로 작동하는지, 중요한 하위 집단이 체계적으로 피해를 입지 않는지, 임상의들이 언제 시스템을 활용해야 하는지 이해하는지, 그리고 환자들이 여전히 인간적인 보살핌과 의미 있는 설명을 받을 수 있는지를 보여주어야 합니다.

긍정적인 신호로는 배포 후 안정적인 성능, 명확한 버전 관리, 문서화된 사고 검토, 명확한 에스컬레이션 경로, 하위 그룹 모니터링, 시스템 중지 또는 롤백 기능 등이 있습니다. 또한, 직원들이 홍보 자료를 읽지 않고도 해당 도구의 한계를 설명할 수 있다면 좋은 신호입니다.

모델 성능이 저하되거나, 오류 패턴이 특정 하위 그룹에 집중되거나, 사용자가 권장 사항을 의무적인 것으로 받아들이기 시작하거나, 공급업체가 충분한 사전 고지 없이 모델을 변경하거나, 조직에서 환자 데이터의 이동 경로를 설명할 수 없는 경우 방향을 전환해야 합니다. 모니터링이 불가능한 시스템은 책임감 있게 관리하기 어렵습니다.

규제 승인은 윤리적 적합성과 동일하지 않습니다.

규제는 안전성, 효과성, 시장 접근성 및 법적 의무와 관련된 중요한 질문에 답을 제공할 수 있지만, 윤리적 평가는 더 광범위합니다. 미국에서는 FDA가 시판 허가를 받은 AI 기반 의료기기 목록을 공개적으로 관리하고 있습니다. 또한 FDA는 2026년 1월에 임상 의사결정 지원 소프트웨어에 대한 최종 지침을 발표하고 재발행하여 특정 의사결정 지원 기능이 의료기기 정의에서 제외되는 경우와 기존 기기 정책이 적용되는 경우를 명확히 했습니다.

유럽 ​​연합의 인공지능법(AI Act)은 위험 기반 프레임워크를 사용합니다 . 2026년 9월부터 법의 대부분 조항이 적용되지만, 유럽 위원회는 규제 대상 제품에 내장된 AI 시스템에 대한 고위험 규정은 2026년 간소화 개정 이후 2028년 8월 2일부터 적용될 것이라고 밝혔습니다. 분류는 사용 목적과 관련 제품 규정에 따라 달라지므로, 모든 의료 AI 시스템이 동일한 의무를 갖는다고 가정해서는 안 됩니다.

규정 준수는 최소한의 기준일 뿐, 완전한 윤리적 판단은 아닙니다. 법적으로 판매 가능한 도구라 할지라도 특정 병원, 환자 집단 또는 업무 흐름에는 적합하지 않을 수 있습니다.

흔히 저지르는 실수들을 피하는 방법

• 높은 정확도 수치를 안전성의 증거로 받아들이지 마십시오. 어떤 오류가 중요한지, 그리고 누구에게 중요한지 생각해 보십시오.
• 이름을 삭제하면 데이터가 안전해진다고 가정할 수 있습니다. 민감한 의료 정보는 식별 가능한 부분을 제거한 후에도 여전히 개인 정보를 드러낼 수 있습니다.
• 설득력 있는 문단을 만들어낸다고 해서 모델을 "설명 가능하다"고 부르는 것은 옳지 않습니다. 유창한 설명이 모델 추론에 대한 정확한 설명이라는 의미는 아닙니다.
• 출시 전 테스트만 진행합니다. 임상 진료, 데이터 출처, 기기 및 환자군은 변화합니다.
• 명목상의 인간 검토자에 의존하는 방식입니다. 감독에는 권한, 시간, 정보, 그리고 시스템을 무효화할 수 있는 명확한 절차가 필요합니다.
• 공급업체가 모든 책임을 져야 한다는 가정 하에, 의료기관 또한 도구를 선택, 구성, 모니터링 및 사용할 때 윤리적인 선택을 해야 합니다.

실질적인 결론

의료 분야에서 인공지능이 직면한 핵심적인 윤리적 과제는 기계가 유용한 예측을 할 수 있는지 여부가 아닙니다. 오히려 사람들이 안전, 공정성, 사생활 보호, 자율성 및 책임성을 보장하는 방식으로 그러한 예측을 활용할 수 있는지 여부입니다.

처음 접하는 사람에게 가장 좋은 출발점은 구체적인 것입니다. 영향을 받는 결정을 정의하고, 증거를 검증하고, 데이터에 누가 반영되었는지 검토하고, 데이터 흐름을 파악하고, 의미 있는 인적 감독 체계를 설계하고, 어떤 증거가 시스템 작동을 일시 중단하거나 중지하게 할지 미리 결정해야 합니다. 이러한 접근 방식이 모든 윤리적 딜레마를 해결하지는 못하더라도, 추상적인 원칙을 검증하고, 기록하고, 개선할 수 있는 질문으로 바꿔줍니다.

본 기사는 교육적인 목적으로 작성되었으며 특정 AI 시스템에 대한 임상, 법률, 규제 또는 기관의 자문을 대체하지 않습니다.