기업 AI 프로젝트에서 가장 위험한 순간은 PoC가 실패할 때가 아니라 성공했을 때입니다. 성공 보고서가 올라가면 경영진은 “그럼 전사로 펼치자”고 하고, 예산과 일정이 PoC 결과를 기준으로 잡힙니다. 그런데 PoC를 성공시킨 조건과 전사 확산의 조건은 거의 모든 면에서 다릅니다. 저는 폐쇄망 사내 생성형 AI를 설계하고 확산 단계까지 지켜보면서, 이 차이를 미리 계산하지 않은 프로젝트가 같은 지점에서 멈추는 것을 반복해서 봤습니다.
이 글은 2026년 8월 19일 ‘AI 서밋 서울 2026’ 패널과 10월 1일 한국인공지능클라우드산업협회(KACI) ‘AI-Cloud Big Tech 2026’ 행사 보도에 나온 현장 발언을 출발점으로, 확산이 멈추는 지점을 네 가지로 나누고 각각을 사전에 숫자로 점검하는 방법을 정리합니다.
먼저, ‘PoC 90% 실패’라는 숫자를 읽는 법
10월 1일 행사 보도에서 HPE 발표자는 AI PoC 중 양산으로 이어지는 비율이 IDC 조사로는 12%, MIT 보고서로는 5%라고 인용했고, 기사 제목의 ‘90% 실패’는 이를 “10개 중 9개”로 요약한 표현이었습니다. 8월 패널에서는 진행자가 맥킨지의 2025년 조사를 인용해, 응답 조직의 88%가 최소 한 가지 업무에 AI를 쓰지만 AI가 EBIT의 5% 이상에 기여한 고성과 기업은 약 6%라고 소개했습니다.
| 수치 | 무엇을 재는가 | 한계 |
|---|---|---|
| PoC 중 양산 12% (IDC) | PoC의 양산 전환율 | 발표자의 2차 인용, 표본·시점 미공개 |
| PoC 중 양산 5% (MIT) | PoC의 양산 전환율 | 2차 인용, 보고서명 특정 안 됨 |
| AI 사용 88%, 고성과 약 6% (맥킨지) | 도입 대비 재무 기여 | 2차 인용, 앞의 두 수치와 측정 대상이 다름 |
세 숫자는 서로 다른 것을 재고, 모두 현장 발언을 거친 인용입니다. 경영진 보고서에 넣으려면 원문을 직접 확인해야 합니다. 다만 숫자의 정확한 값과 별개로, 현장 발언들이 가리키는 방향은 분명했습니다. 문제는 모델이 아니라 확산입니다.
PoC와 전사 확산은 네 가지가 다르다
| 구분 | PoC | 전사 확산 |
|---|---|---|
| 사용자 | 자원한 30명, 학습 의지 높음 | 배정된 2,000명, 기존 방식에 익숙 |
| 데이터 | 정제해 둔 샘플 문서 | 권한이 섞인 전체 문서, 오래된 버전 포함 |
| 운영 | 개발자가 직접 대응 | 헬프데스크, 장애 등급, 변경 관리 |
| 비용·환경 | 외부 API, 소량 호출 | 망분리, 동시 접속, 월 단위 예산 |
아래에서 하나씩 보겠습니다.
1. 사용자가 바뀌면 같은 시스템이 다르게 작동한다
8월 패널에서 KB국민은행 측은 “실패하는 PoC는 없다”며, 첫 테스트는 성공하지만 확산 단계에서 사용자가 달라져 잘 안 되는 경우가 대부분이라고 했습니다. PoC 참여자는 학습 의지가 높은 사람들이기 때문입니다. 저는 이것을 질문 품질의 분포가 바뀌는 문제로 봅니다. PoC 사용자는 시스템이 잘 답할 수 있는 형태로 질문하는 법을 금방 익힙니다. 일반 사용자는 “작년 그거 어디 있어요?” 같은 질문을 합니다. 같은 RAG 시스템이라도 정답률이 크게 떨어지는 이유입니다.
대응은 두 가지입니다. 하나는 PoC 단계에서 일부러 ‘열정적이지 않은’ 사용자를 섞는 것이고, 다른 하나는 확산 첫 달에 실제 질문 로그를 모아 실패 질문 유형을 분류하고 질의 재작성이나 안내 문구로 보완하는 것입니다. 같은 패널에서 KB금융은 AI 서비스 약 100개를 운영하며 대상자의 약 90%, 실사용자 8,000명 이상이 쓰고 있다고 소개했는데, 확산이 되는 조직은 서비스 개수보다 이용률을 먼저 본다는 점이 눈에 띕니다.
2. 데이터가 바뀌면 권한 문제가 터진다
현장 보도에는 많이 나오지 않지만, 제가 가장 자주 보는 정체 지점입니다. PoC는 보통 공개 범위가 넓은 규정·매뉴얼 문서로 합니다. 확산하면 부서별 문서가 들어오고, 그 순간 “검색 결과에 내가 볼 수 없는 문서가 나왔다”는 신고가 들어옵니다. 원본 시스템의 접근 권한을 검색 색인에 그대로 반영하지 않았기 때문입니다. 이 문제가 한 번 나면 보안 부서가 서비스를 멈춥니다. 확산 전에 문서별 접근 권한을 색인 메타데이터로 동기화하고, 검색 단계에서 사용자 권한으로 필터링하는 구조를 반드시 갖춰야 합니다. 오래된 문서 버전이 최신 규정보다 상위에 나오는 문제도 같은 단계에서 정리합니다.
3. 절감한 시간은 저절로 돈이 되지 않는다
롯데쇼핑 측은 숙련자가 1시간 걸리던 일을 1분에 처리하는 사례가 있어도 절감 시간을 매출이나 이익으로 환산하기 어렵다고 했고, HD현대 측은 설계 작업을 1주일 만에 끝내 약 3주 공수를 줄였지만 줄어든 공수를 다시 투입할 방안이 있어야 한다고 짚었습니다. 시간 절감은 측정할 수 있지만, 재무 성과는 설계하지 않으면 생기지 않습니다.
롯데쇼핑 측은 매출·이익 대신 CTR·CVR 같은 중간 지표를 경영진과 미리 합의하라고 제안했습니다. 저는 이를 세 단계로 확장해 씁니다.
| 단계 | 예시 지표 | 확인할 질문 |
|---|---|---|
| 이용 | 대상자 중 주간 실사용 비율, 4주 재사용률 | PoC 밖의 일반 직원도 계속 쓰는가 |
| 업무 효과 | 건당 처리 시간, 재작업 비율, 답변 채택률 | 절감이 측정되는가 |
| 재투입 | 절감 공수의 재배치 계획과 실적 | 줄어든 시간이 어디에 쓰이는가 |
가장 중요한 것은 세 번째 줄을 확산 전에 현업 조직장과 서면으로 정하는 것입니다. “절감되는 월 600시간 중 400시간은 고객 상담 품질 점검에 재배치한다”처럼 구체적이어야 합니다. 재투입 계획이 없으면 절감된 시간은 회의와 이메일로 흡수되고, 1년 뒤 ROI 보고서에서 사라집니다.
4. 비용과 망분리는 규모에서 터진다
10월 행사에서 HPE 발표자는 에이전트형 AI가 늘면서 쿼리당 토큰 비용이 커져 대형 파운데이션 모델에만 기대면 감당하기 어렵다고 주장했고, 가트너를 인용해 2026년 학습과 추론 시장이 5대 5이며 2028~2030년에는 추론이 80% 이상을 차지할 것이라고 소개했습니다. 온프레미스 도메인 특화 소형 모델로 퍼블릭 클라우드 대비 비용을 5배 이상 줄일 수 있다는 자체 분석도 내놓았는데, 이는 인프라 판매 주체의 주장이므로 독립 검증이 필요합니다.
방향과 별개로, 확산 전에 해야 할 일은 우리 숫자로 다시 계산하는 것입니다. 아래는 계산 방식을 보여 주기 위한 가정값입니다.
| 항목 | PoC | 전사 확산 |
|---|---|---|
| 대상자 | 30명 | 2,000명 |
| 일 활성 비율 | 80% | 30% |
| 1인당 일 질의 | 40건 | 20건 |
| 일 질의 수 | 960건 | 12,000건 |
| 질의당 토큰(입력 3,000 + 출력 500) | 3,500 토큰 | |
| 일 토큰 | 약 336만 | 약 4,200만 |
| 피크 1시간 비중 20% 가정 시 시간당 질의 | 약 190건 | 2,400건 |
확산하면 일 토큰은 12배 이상 늘고, 에이전트형으로 바꿔 질의당 도구 호출이 5회로 늘면 다시 몇 배가 됩니다. 외부 API라면 월 예산을, 자체 GPU라면 피크 동시 처리량을 이 숫자로 다시 잡아야 합니다. 피크 시간당 2,400건, 응답당 생성 시간이 15초라면 평균 동시 처리 요청은 약 10건이고, 여유율을 두면 그 두세 배를 감당할 수 있어야 합니다.
망분리도 같은 단계에서 확인합니다. KB 측은 망분리 환경에서 최신 AI 기술을 그대로 들이기 어렵다고 했고, 10월 행사에서도 공공·국방의 망분리 대응이 제언에 포함됐습니다. PoC를 외부 API로 했다면, 확산 단계에서 그대로 쓸 수 있는지(규제·보안 심의), 안 된다면 사내 모델로 바꿨을 때 정답률이 얼마나 떨어지는지를 PoC 기간 안에 함께 측정해 두는 것이 가장 싼 보험입니다.
확산 준비도 점검표
저는 확산 결재 전에 아래 항목을 예/아니오로 확인합니다. ‘아니오’가 두 개 이상이면 전사 확산 대신 2~3개 부서 단계 확산을 권합니다.
- PoC 참여자 외 일반 사용자 표본으로 정답률을 측정했는가
- 원본 시스템 접근 권한이 검색 결과에 반영되는가
- 이용·업무 효과·재투입 지표를 경영진과 서면 합의했는가
- 절감 공수의 재투입처를 현업 조직장이 정했는가
- 전사 규모 기준 토큰·동시 처리량·월 비용을 계산했는가
- 망분리·보안 심의 조건에서 운영 가능한 구성을 확인했는가
- 헬프데스크·장애 등급·모델 변경 절차가 정해졌는가
- 인용한 외부 통계의 원문을 확인했는가
맺으며
PoC는 ‘될 수 있는가’를 묻고, 전사 확산은 ‘모두에게, 매일, 감당할 수 있는 비용으로, 보안 규정 안에서 되는가’를 묻습니다. 두 질문은 다른 질문이므로 다른 숫자로 답해야 합니다. 다음 확산 보고서에는 PoC 성공 사례 대신 일반 사용자 정답률, 합의된 중간 KPI, 전사 규모 비용 계산을 먼저 올려 보시기 바랍니다.