고영향 AI 사업자 책무는 고영향 인공지능 또는 이를 이용한 제품·서비스를 제공하는 사업자가 안전성·신뢰성을 확보하기 위해 이행해야 하는 관리 의무입니다. AI 기본법 제34조는 위험관리방안, 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 문서 작성·보관 등을 포함한 조치를 이행하도록 정하고 있습니다.
이 책무는 단순히 "AI가 정확해야 한다"는 수준이 아닙니다. 사업자가 어떤 위험을 예상했고, 어떤 기준으로 통제하며, 이용자에게 어떤 보호 장치를 제공하고, 그 근거를 어떻게 보관하는지 확인하는 절차입니다.
제34조 책무는 안전성·신뢰성 확보 조치를 중심으로 움직입니다
제34조 제1항은 고영향 인공지능의 안전성·신뢰성을 확보하기 위한 조치를 정합니다. 실무에서는 위험관리방안, 설명 방안, 이용자 보호, 사람의 관리·감독, 문서 작성·보관의 다섯 축으로 나누어 보는 것이 좋습니다.
위험관리방안에는 오작동, 편향, 차별, 보안, 안전사고 위험을 어떻게 식별·평가·완화할 것인지가 들어가야 합니다. 설명 방안에는 AI 결과, 결과 도출 기준, 학습용데이터 개요를 기술적으로 가능한 범위에서 어떻게 설명할 것인지가 포함됩니다. 이용자 보호에는 고지, 문의, 이의제기, 피해 대응, 오류 정정 절차가 필요합니다. 사람의 관리·감독에는 담당자, 승인 권한, 긴급 중단, 재검토 절차가 들어가야 합니다. 문서 작성·보관은 이 모든 조치가 실제로 이행되었는지 남기는 작업입니다.
문서 제목만 만들어 두는 것으로는 부족합니다. 실제 운영에서 작동해야 합니다. 예컨대 위험관리방안이 있다면 위험 발생 시 누가 판단하고, 누가 중단하고, 어떤 기준으로 재개하는지가 정리되어야 합니다.
위험관리는 기술 성능 평가만으로 끝나지 않습니다
고영향 AI는 사람의 생명·신체 안전이나 기본권에 영향을 줄 수 있는 영역에서 작동합니다. 따라서 위험관리는 모델 정확도만 평가하고 끝낼 수 없습니다. 데이터 편향, 부정확한 예측, 자동화된 차별, 설명 부족, 보안 취약점, 외주 모델 업데이트로 인한 성능 변화까지 함께 보아야 합니다.
채용 AI라면 특정 성별·연령·학력·경력 유형에 대한 편향 위험이 문제 될 수 있습니다. 대출심사 AI라면 신용평가 기준의 설명 가능성과 이의제기 절차가 중요합니다. 의료 AI라면 오진 가능성, 의료진의 최종 판단 방식, 환자 안전 확보가 중요합니다.
위험관리방안은 제품 출시 전 한 번 작성하고 끝낼 문서가 아닙니다. 모델 업데이트, 데이터 변경, 서비스 범위 확대, 이용자군 변경이 있을 때 다시 점검해야 합니다.
설명 방안은 소스코드 공개와 다릅니다
제34조는 기술적으로 가능한 범위에서 AI가 도출한 최종결과, 결과 도출에 활용된 주요 기준, 개발·활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안을 수립·시행하도록 정합니다.
이것은 모든 알고리즘과 영업비밀을 공개하라는 뜻으로 볼 필요는 없습니다. 다만 이용자나 감독기관이 "왜 이런 결과가 나왔는지"를 합리적으로 이해할 수 있는 설명 체계는 필요합니다.
실무적으로는 설명 대상을 나누는 것이 좋습니다. 내부 관리자용 설명, 이용자용 설명, 감독기관 제출용 설명이 다를 수 있습니다. 이용자에게는 쉬운 언어로 결과의 주요 기준과 이의제기 방법을 안내하고, 내부 문서에는 모델 작동 방식, 데이터 범위, 검증 방법, 성능 한계, 책임자를 남겨야 합니다.
실제 통제 가능성을 따져야 합니다
고영향 AI에서 사람의 관리·감독은 매우 중요합니다. 단순히 담당자를 지정하는 것만으로는 부족합니다. 담당자가 AI 결과를 검토하고, 필요하면 중단·수정·재검토를 지시할 권한을 가져야 합니다.
시행령 제27조 관련 자료는 인공지능사업자가 법 제34조의 조치 이행 근거를 5년간 보관해야 한다고 설명합니다. 또한 위험관리방안 주요 내용, 설명 방안 주요 내용, 이용자 보호 방안, 관리·감독 담당자 정보 등을 홈페이지 등에 게시해야 하며, 영업비밀에 해당하는 사항은 제외될 수 있다는 점도 함께 설명됩니다.
따라서 사업자는 "누가 관리자인가"뿐 아니라 "관리자가 무엇을 할 수 있는가"를 문서화해야 합니다. 운영 중 오류나 위험이 발견되었을 때 긴급정지, 모델 롤백, 수동심사 전환, 이용자 통지, 사후 보고가 가능한지 확인해야 합니다.
문서화와 기록 보존은 나중의 방어 자료입니다
고영향 AI 책무에서 문서화는 부수 작업이 아닙니다. 나중에 문제가 발생했을 때 사업자가 실제로 의무를 이행했는지 보여주는 자료가 됩니다. 시행령 관련 자료는 제34조 제1항 각 호의 조치를 이행하고 그 근거를 문서로 5년간 보관해야 한다고 설명합니다.
보관해야 할 문서는 위험관리방안, 모델 검증 자료, 데이터 검토 기록, 설명 방안, 이용자 보호 절차, 관리자 지정 및 교육 기록, 오류 대응 기록, 변경 이력 등입니다. 외주 개발을 한 경우에는 개발사로부터 받은 자료, 성능 검증 결과, 업데이트 통지, 책임 분담 계약도 중요합니다.
특히 고영향 AI는 사후 분쟁에서 "그때 어떤 기준으로 운영했는가"가 쟁점이 됩니다. 문서가 없으면 실제로 조치를 했더라도 입증이 어려워집니다.
위반 시 사실조사·시정명령·과태료 리스크를 염두에 두어야 합니다
AI 기본법은 일정한 의무 위반에 대해 사실조사와 시정명령, 과태료 절차를 둘 수 있습니다. 다만 시행 초기에는 계도기간이 운영될 수 있다는 설명도 있으므로, 본문에서는 "즉시 과태료"처럼 단정하기보다 "사실조사·시정명령·과태료 리스크로 이어질 수 있다"는 식으로 정리하는 것이 안전합니다. 과기정통부 보도자료도 최소 1년 이상 규제 유예와 계도기간 운영을 설명하고 있습니다.
고영향 AI 사업자에게 필요한 대응은 결국 세 가지입니다. 위험을 미리 찾고, 통제 방안을 실제 운영에 넣고, 그 이행 흔적을 남기는 것입니다. 이 세 가지가 빠지면 나중에 설명하기 어렵습니다.
자주 묻는 질문
고영향 AI 책무는 개발사만 부담하나요?
아닙니다. 서비스 흐름에 따라 개발사업자와 이용사업자 모두 관련될 수 있습니다. 특히 이용사업자가 AI를 실제 의사결정에 활용하면 운영 책임을 별도로 검토해야 합니다.
외주 개발을 맡기면 책임도 외주사에 넘어가나요?
그렇지 않습니다. 외주사는 기술 자료 제공과 협력 의무가 문제 될 수 있지만, 서비스를 제공·이용하는 사업자의 책무가 사라지는 것은 아닙니다.
문서화는 어느 정도 해야 하나요?
위험관리, 설명 방안, 이용자 보호, 사람의 감독, 변경 이력, 오류 대응 기록이 남아야 합니다. 나중에 "무엇을 기준으로 운영했는지" 설명할 수 있어야 합니다.
홈페이지에 모든 내용을 공개해야 하나요?
위험관리방안 주요 내용 등 일정 사항은 게시 대상이 될 수 있습니다. 다만 영업비밀에 해당하는 사항은 제외될 수 있으므로 공개용 문서와 내부 문서를 구분해야 합니다.
제34조 위반이면 바로 과태료인가요?
바로 과태료라고 단정하기는 어렵습니다. 사실조사, 시정명령, 명령 미이행에 따른 과태료 가능성까지 단계별로 보아야 합니다.
작성: 조국환 변호사팀 | AUCTORITAS LAB