의료 AI, 안전하고 공정하게 사용하라! 공동위원회가 CHAI와 함께 책임감 있는 AI 활용 지침 발표¶
원제목: Joint Commission and CHAI Release Guidance on Responsible Use of AI in Healthcare
핵심 요약
- 의료 기관은 AI 도입 시 안전, 효과, 공정성, 윤리성을 고려한 정책 및 거버넌스 체계를 구축해야 함.
- 환자 데이터 보호 및 개인 정보 투명성 확보를 위한 명확한 정책 수립과 환자 고지가 필수적임.
- AI 도구의 성능을 지속적으로 모니터링하고, 잠재적 위험과 편향성을 평가하며, 관련 교육을 제공해야 함.
상세 내용¶
미국 공동위원회(The Joint Commission, JC)와 의료 AI 연합(Coalition for Health AI, CHAI)이 의료 분야에서 인공지능(AI)을 책임감 있게 사용하기 위한 새로운 지침을 발표했습니다. 이 지침은 의료 기관이 임상 및 운영 환경에서 AI 기반 도구를 도입, 평가 및 관리할 때 고려해야 할 비구속적인 사항들을 제공합니다. "의료 분야 AI의 책임감 있는 사용"이라는 제목의 이 지침은 AI의 안전하고 효과적이며 공정하고 윤리적인 사용을 촉진하기 위한 7가지 핵심 영역에 중점을 두고 있습니다.
첫째, AI 정책 및 거버넌스 구조에 대한 명확한 수립이 요구됩니다. 의료 기관은 AI의 구현 및 사용에 대한 정책을 마련하고, 병원 이사회는 AI 도구의 사용, 결과 및 잠재적 단점에 대해 지속적으로 인지하도록 하는 거버넌스 구조를 갖춰야 합니다. 여기에는 주요 이해관계자의 전문성을 포함한 구조 및 감독 메커니즘이 필요하며, 모든 영향을 받는 인구 집단의 요구가 고려되어야 합니다.
둘째, 환자 개인 정보 보호 및 투명성 확보가 강조됩니다. 데이터 접근, 사용 및 보호에 관한 정책을 시행하고, AI 도구의 사용 및 이점에 대해 환자와 가족에게 알리고 교육하는 메커니즘을 개발해야 합니다. 또한, AI가 환자의 치료에 직접적인 영향을 미칠 경우와 데이터가 AI 맥락에서 어떻게 사용될 수 있는지에 대해 환자에게 알려야 합니다.
셋째, 데이터 보안 및 데이터 사용 보호를 위한 강력한 조치가 필요합니다. 명확한 데이터 보안 정책을 구현하고 내보낸 데이터의 허용되는 사용을 제한하여 환자 데이터를 보호해야 합니다. HIPAA에 따라 데이터가 적절하게 비식별화되더라도, 잠재적인 재식별 위험 및 해당 주 또는 계약상의 의무를 고려하여 강력한 보호 조치와 계약 가드레일을 적용해야 합니다.
넷째, 지속적인 품질 모니터링이 필수적입니다. 건강 AI 도구의 안전한 성능을 모니터링하고 평가하는 프로세스를 설정해야 합니다. 조달 과정에서 공급업체로부터 AI 도구가 어떻게 테스트되고 검증되었는지, 편향성이 어떻게 평가/완화되었는지, 그리고 공급업체가 배포 환경을 대표하는 샘플을 조정하거나 검증할 의향이 있는지에 대한 정보를 요구해야 합니다. 위험 기반 접근 방식을 사용하여 배포 후 모니터링 및 지속적인 검증 및 테스트 활동을 수행해야 합니다.
다섯째, AI 안전 관련 이벤트에 대한 자발적, 비공개 보고를 장려합니다. 이는 의료 업계 전반에 걸쳐 지식 공유를 가능하게 하기 위해 AI 관련 안전 이벤트를 독립적인 조직에 자발적으로 보고함으로써 이루어질 수 있습니다. 이미 JC의 사고 보고 절차와 같은 기존 구조를 활용할 수 있습니다. 마지막으로, 위험 및 편향성 평가와 교육 및 훈련의 중요성도 강조됩니다. AI 도구의 잠재적 위험을 방지하고 안전하게 사용할 수 있도록 의료 제공자에 대한 교육 및 훈련 자료를 제공해야 합니다. 이러한 권고 사항은 규제력을 갖지는 않지만, FDA의 AI 기반 의료 기기 및 신약 개발 시스템에 대한 지침 등 다른 권위 있는 맥락에서 발견되는 주제들을 반영합니다.
편집자 노트¶
이번 공동위원회와 CHAI의 지침 발표는 의료 현장에서 AI 기술의 도입이 가속화되는 가운데, 기술의 잠재력을 최대한 활용하면서도 발생할 수 있는 위험을 최소화하려는 노력이 본격화되고 있음을 보여줍니다. 특히, AI의 '책임감 있는 사용'을 강조하며 안전성, 공정성, 투명성, 윤리성을 핵심 가치로 제시했다는 점에서 주목할 만합니다. 이는 단순히 새로운 기술을 도입하는 것을 넘어, 환자 중심의 의료 서비스를 제공하기 위한 근본적인 고민이 반영된 결과라고 볼 수 있습니다.
이 지침은 여러 측면에서 시사하는 바가 큽니다. 먼저, 의료 기관에게 AI 도입에 대한 명확한 로드맵과 관리 체계 구축의 필요성을 강조합니다. AI의 잠재적 위험과 편향성에 대한 면밀한 평가, 환자 데이터 보호를 위한 강력한 보안 및 투명성 강화, 그리고 AI 도구를 실제 사용하는 의료진에 대한 충분한 교육이 뒷받침되어야 함을 명확히 하고 있습니다. 이는 AI 기술이 의료 현장에 성공적으로 안착하기 위한 필수 조건이며, 환자들의 신뢰를 얻기 위한 기반이 될 것입니다. 또한, FDA의 AI 기반 의료기기 및 신약 개발 지침과 맥락을 같이 한다는 점에서, 향후 의료 AI 관련 규제 및 정책 방향을 예측해 볼 수 있는 중요한 이정표가 될 것입니다. 의료 AI 기술의 발전은 질병의 진단, 치료, 신약 개발 등 다양한 분야에서 혁신을 가져올 잠재력이 크지만, 그 이면에는 개인 정보 유출, 오진, 차별 등 윤리적, 기술적 도전 과제들도 존재합니다. 따라서 이러한 지침은 의료 AI가 인류 건강 증진에 기여하는 긍정적인 방향으로 발전하도록 유도하는 나침반 역할을 할 것으로 기대됩니다.