AI 기본법 시행 9개월, 고영향 AI 판단은 PoC 단계에서 끝내야 한다

이 글은 AI 도입 컨설팅 관점에서 AI 기본법 조항과 공개 자료를 정리한 것으로 법률 자문이 아닙니다. 구체적인 사안은 최신 시행령·고시와 법률 전문가 검토를 기준으로 판단해야 합니다.

「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(AI 기본법)이 2026년 1월 22일 시행된 지 9개월이 지났습니다. 그사이 기업 AI 도입 진단과 PoC 현장에서 받는 질문이 바뀌었습니다. “정확도가 몇 퍼센트 나오나요?”만큼 “이 과제가 고영향 AI에 해당하나요?”가 중요한 질문이 됐습니다.

저는 이 질문을 PoC 단계에서 끝내야 한다고 봅니다. 고영향 AI 여부는 기술이 아니라 업무가 결정하고, 그 의무를 이행하는 장치(사람의 검토 단계, 로그 보관, 고지 문구)는 아키텍처에서 결정되기 때문입니다. 본사업에 들어간 뒤 이 장치를 덧붙이면 화면, 데이터 모델, 운영 절차를 모두 다시 만들어야 합니다. 이 글은 PoC 설계자가 법 의무를 산출물 양식에 녹이는 방법을 예시와 함께 정리합니다.

누가 어떤 의무를 지는가

구분 주요 의무 비고
생성형·고영향 AI 기반 서비스 공통 이용자에게 AI 기반 서비스임을 사전 고지 계약서, 약관, 화면 표시 등
생성형 AI 결과물 AI 생성물임을 표시. 일반 생성물은 사람이 인식하는 표시나 기계 판독 표시(워터마크) 가능 딥페이크는 이용자가 명확히 인식하는 방식만
고영향 AI 사업자 위험관리방안, 설명 방안, 이용자 보호, 사람의 관리·감독, 확인 문서 작성·5년 보관, 주요 내용 게시 법 제34조
고성능 AI 학습 누적 연산량 10^26 FLOPs 이상 시 위험 식별·평가·완화 결과 제출 대형 모델 개발사
해외 사업자 매출·이용자 기준 초과 시 국내대리인 지정 미지정 시 과태료

고지·표시 의무에는 예외가 있습니다. AI 사용이 명백한 경우나 사업자의 내부 업무 용도로만 쓰는 경우입니다. 사내 업무용 생성형 AI를 도입하는 기업에 이 예외는 중요하지만, 결과물이 고객 문서나 외부 공개 자료로 나가거나 내부 시스템이 고객 응대·채용처럼 외부인에게 영향을 주기 시작하면 판단이 달라집니다. ‘내부용’이라는 분류는 시스템이 아니라 결과물의 흐름으로 판단해야 합니다.

고영향 판단은 두 단계

공개된 가이드라인 초안은 먼저 법에 나열된 영역에 해당하는지 보고, 다음으로 생명·신체·기본권에 미치는 영향과 위험의 빈도·심각성을 따지는 2단계 판단을 제시합니다. 나열된 영역은 에너지 공급, 먹는물 생산, 원자력시설, 보건의료와 의료기기, 범죄 수사, 교통, 공공서비스, 채용·대출심사처럼 개인의 권리·의무에 중대한 영향을 주는 판단, 교육 분야의 학생 평가 등입니다. 해당 여부가 애매하면 과학기술정보통신부에 확인을 요청할 수 있고, 입법예고 당시 기준으로 처리 기간은 30일, 1회 30일 연장이 가능했습니다.

자주 받는 과제로 판단해 보기

아래는 제가 진단 1주차에 자주 만나는 과제를 위 틀로 1차 분류해 본 예시입니다. 최종 판단은 법률 검토를 거쳐야 하며, 이 표는 판단 과정을 보여 주기 위한 것입니다.

과제 영향받는 사람 나열 영역 1차 판단 설계상 조치
사내 규정 문서 검색(RAG) 직원(정보 조회) 아님 비해당 내부용 예외 확인, 근거 문서 표시
설비 이상 탐지 설비, 간접적으로 작업자 대개 아님(에너지·원자력 설비면 재검토) 대개 비해당 안전 관련 경보는 사람 확인
코드 리뷰 보조 개발자 아님 비해당 리뷰어 최종 승인 유지
고객 상담 챗봇 고객 대개 아님 비해당, 고지 의무 있음 AI 응대 고지, 상담원 전환 경로
이력서 선별 보조 지원자 채용 해당 가능성 높음 범위 축소, 사람 판단, 확인 문서
대출 심사 보조 신청자 대출심사 해당 가능성 높음 설명 방안, 이의 제기 절차

같은 RAG 기술이라도 사내 규정 검색에 붙으면 비해당, 이력서 선별에 붙으면 해당 가능성이 높아집니다. 그래서 PoC 과제 정의서의 첫 질문은 “어떤 모델을 쓰는가”가 아니라 “이 결과로 누가 어떤 결정을 받는가“여야 합니다.

‘사람이 최종 결정’은 면제 사유가 아니라 설계 요건이다

현장에서 가장 많이 듣는 말이 “최종 결정은 사람이 하니 괜찮다”입니다. 일부 해설은 사람의 개입이 판단에 고려될 수 있다고 설명하지만, 공개 자료 전체에서 일관되게 확인되는 내용은 아닙니다. 더구나 사람의 관리·감독은 고영향 AI의 의무 항목이기도 합니다. 면제 근거로 기대기보다 제대로 작동하는 설계 요건으로 보는 편이 안전합니다.

문제는 ‘형식적 승인’입니다. 담당자가 AI 추천을 하루 300건씩 클릭만으로 승인한다면, 그것은 사람의 판단이 아니라 자동화 편향(automation bias)입니다. 실효성 있는 사람 검토인지 확인하려면 다음을 측정해 두는 것이 좋습니다.

  • 번복률: AI 제안과 다른 결정을 내린 비율. 0%에 가깝다면 검토가 형식적일 가능성이 큽니다.
  • 건당 검토 시간: 결정을 내리기에 충분한 시간이 확보되는가.
  • 근거 열람률: 검토자가 AI가 제시한 근거 자료를 실제로 열어 보는가.

개인정보 보호법도 함께 봐야 합니다. 완전히 자동화된 시스템으로 개인에게 중대한 영향을 미치는 결정을 하는 경우 정보주체의 거부·설명 요구 권리가 규정되어 있어, 채용·심사 과제라면 두 법의 요구를 한 번에 설계하는 것이 효율적입니다.

PoC 산출물 양식에 끼워 넣을 항목

PoC 산출물 추가할 항목 연결되는 의무
과제 정의서 영향받는 사람, 결정의 종류, 나열 영역 해당 여부 1차 판단 고영향 판단, 영향평가
아키텍처 설계서 사람 검토·승인 단계 위치, 로그 보관 위치·기간 사람의 관리·감독, 문서 보관
성능 평가 보고서 오류 유형별 영향, 실패 시 대체 절차, 집단별 성능 차이 위험관리방안
화면 설계 AI 사용 고지 문구, 생성물 표시 위치 사전 고지, 결과물 표시
운영 계획 설명 요청 대응 절차, 담당자 연락처 게시 설명 방안, 이용자 보호, 게시

과제 정의서에는 다음 정도의 섹션을 고정 양식으로 넣어 둡니다.

[AI 기본법 1차 검토]
- 결과를 받는 사람: (예: 입사 지원자)
- 결정의 종류: (예: 서류 전형 통과 여부에 참고)
- 나열 영역 해당: 채용 — 해당 가능
- 영향의 심각성: 기회 박탈 가능, 빈도 연 3,000건
- 범위 조정안: '추천'이 아닌 '서류 요약'으로 한정, 판정은 면접관
- 사람 검토 지점: 요약 확인 후 평가자 직접 채점
- 로그·문서 보관: 요약 원문, 근거, 평가자 결정 / 5년
- 법률 검토 요청: 필요 (담당: 법무팀, 요청일)

로그 보관은 처음부터 용량으로 계산한다

고영향 AI는 확인 문서를 5년 보관해야 합니다. 어떤 기록을 문서로 볼지는 해석의 여지가 있지만, 설계자 입장에서는 프롬프트, 검색 근거, 모델 응답, 사람의 최종 판단을 하나의 사건 ID로 묶어 남기는 것이 가장 안전합니다. 문제는 이 결정을 늦게 하면 기존 데이터가 남아 있지 않다는 점입니다.

용량은 생각보다 작습니다. 사용자 1,000명이 하루 20건, 연 250일 사용하고 건당 기록이 10KB라면 연 50GB, 5년 250GB 수준입니다. 비용보다 중요한 것은 개인정보 처리 기준과의 정합성입니다. 프롬프트에 개인정보가 섞이므로 보관 목적, 접근 권한, 파기 시점을 개인정보 처리 방침과 함께 정해야 합니다. 저장 매체는 위·변조 방지가 가능한 형태(WORM 스토리지, 해시 체인)를 고려합니다.

진단 1주차의 순서

  1. 업무 목록 수집. AI를 붙이려는 업무를 모두 적고, 결과가 내부 직원에게만 쓰이는지 외부인에게 영향을 주는지 표시합니다.
  2. 영역 매핑. 나열 영역과 대조해 해당·비해당·애매 세 칸으로 나눕니다.
  3. 애매한 과제의 범위 조정. 채용이라면 ‘추천’이 아니라 ‘서류 요약’으로 좁히고, 최종 판단은 사람이 한다는 점을 설계에 명시합니다.
  4. 로그 정책 확정. 무엇을 어디에 얼마나 보관할지, 개인정보 처리 기준과 함께 정합니다.
  5. 고지 문구 초안. 화면과 약관 문구를 PoC 화면에서부터 씁니다. 사용자 테스트에서 문구 반응까지 확인할 수 있습니다.

계도기간을 오해하지 말 것

정부는 사실조사와 과태료를 1년 이상 유예하겠다고 밝혔고, 유예 중 사실조사는 인명사고나 인권 훼손 같은 예외적인 경우로 한정됩니다. 사전 고지 미이행, 국내대리인 미지정, 시정명령 미이행에는 3천만원 이하 과태료가 규정돼 있습니다. 그러나 계도기간은 과태료 집행의 유예이지 의무의 유예가 아닙니다. 유예 종료 시점은 공개 자료마다 표현이 달라 최신 공지로 확인해야 합니다. 지금 PoC를 하는 과제는 대부분 계도기간이 끝난 뒤 운영에 들어간다는 점도 기억해야 합니다.

맺으며

AI 기본법 대응을 법무팀의 일로만 보면 늦습니다. 고영향 여부는 과제를 어떻게 정의하느냐에서 갈리고, 로그와 사람 검토 단계는 아키텍처에서 결정되며, 고지 문구는 화면 설계에서 들어갑니다. 그래서 PoC를 설계하는 사람이 가장 먼저 다뤄야 합니다. 계도기간이 끝나기 전에 PoC 산출물 양식부터 바꿔 두는 것이 가장 싼 대응입니다.

참고 자료

댓글 남기기