AI 도입 로드맵 6단계 — 과제 선정부터 전사 확산까지

TL;DR AI 도입 로드맵은 과제 선정부터 전사 확산까지 6단계로 짜고, 단계 사이마다 숫자로 된 관문을 둬야 멈추지 않습니다.

2026년 국내 기업과 공공기관의 AI 도입 담당자가 PoC에서 멈추지 않고 전사 확산까지 가기 위해, 이 글은 과제 하나를 실제로 굴리는 AI 도입 로드맵을 6단계로 나누어 기간·인력·예산·관문 기준과 함께 정리하는 방법을 설명합니다.

“AI 도입 로드맵”을 검색하면 대개 두 종류의 문서가 나옵니다. 하나는 경영 전략 수준의 그림으로, 진단·전략·실행·확산 같은 큰 칸이 그려져 있습니다. 다른 하나는 특정 제품의 설치 순서입니다. 그런데 실제 담당자가 막히는 곳은 그 사이입니다. “이번 분기에 과제 하나를 어떻게 시작해서, 몇 주 뒤에 무엇을 보고, 언제 다음 단계로 넘길 것인가” 라는 실행 단위의 질문입니다. 이 글은 바로 그 질문에 답하는 실행용 AI 도입 로드맵입니다. AI가 무엇인지부터 큰 그림을 잡고 싶다면 AI(인공지능)란 무엇인가를 먼저 읽고 오시면 흐름이 이어집니다. 회사 전체의 AI 전환 전략을 세우는 단계라면 AX 추진 전략과 로드맵이 경영층 관점의 4단계를 다루고, 이 글은 그 안에서 개별 과제를 움직이는 6단계를 다룹니다.

AI 도입 로드맵을 처음 세우는 IT 의사결정권자와 실무자가 실제로 묻는 질문을 순서대로 골랐습니다.

1. AI 도입 로드맵은 왜 전략 문서와 따로 필요한가
2. 6단계는 각각 몇 주가 걸리고 무엇을 남기는가
3. 첫 과제는 어떤 기준으로 골라야 하는가
4. PoC와 파일럿은 무엇이 다르고, 언제 멈춰야 하는가
5. 운영 전환과 전사 확산에서 무엇이 무너지는가
6. 구독형·API·구축형 중 도입 방식은 언제 정하는가
7. 공공·금융·제조·중견기업은 AI 도입 로드맵을 어떻게 바꿔야 하는가
8. AI 기본법과 망분리 규제 개선은 AI 도입 로드맵 어디에 반영하는가

AI 도입 로드맵이 필요한 이유는 단순합니다. AI 과제는 시작하기는 쉽고 끝내기는 어렵기 때문입니다. 챗봇 하나를 띄우는 데는 하루면 충분하지만, 그 챗봇이 실제 업무 시간을 줄이고 감사 지적 없이 1년을 운영되기까지는 데이터 정비, 권한 설계, 비용 통제, 사용자 교육이 줄줄이 따라옵니다. 이 연결 고리를 미리 그려 두지 않으면 시연에서 박수를 받은 과제가 운영 단계에서 조용히 사라집니다.

수치도 같은 이야기를 합니다. Gartner는 생성형 AI 프로젝트의 최소 30%가 2025년 말까지 PoC 이후 중단될 것이라고 내다봤고, 그 이유로 데이터 품질, 위험 통제 부족, 비용 상승, 불명확한 사업 가치를 꼽았습니다. 이후 발표에서는 AI 준비가 안 된 데이터로 추진하는 AI 프로젝트의 60%가 2026년까지 중단될 것이라고 경고했습니다. 네 가지 중단 사유를 들여다보면 공통점이 있습니다. 모두 PoC를 시작하기 전에 확인할 수 있었던 항목이라는 점입니다.

전략 문서와 실행용 AI 도입 로드맵은 역할이 다릅니다. 전략 문서는 “왜, 어디에 투자하는가”를 정합니다. 실행용 AI 도입 로드맵은 “이 과제를 어떤 순서로, 어떤 조건이 충족되면 다음으로 넘기는가”를 정합니다. 전략은 1년에 한 번 고쳐도 되지만 AI 도입 로드맵은 과제마다 새로 그립니다. 그래서 이 글의 6단계는 회사 전체가 아니라 과제 한 건을 단위로 설계했습니다. 과제가 여러 개라면 같은 6단계를 과제별로 겹쳐 돌리는 포트폴리오가 됩니다.

실무에서 이 차이를 가장 잘 보여 주는 장면이 경영 보고 자리입니다. 전략 문서에는 “2027년까지 전사 AI 활용률 50%” 같은 목표가 적혀 있지만, 담당 팀장이 다음 주에 해야 할 일은 그 문장에서 나오지 않습니다. AI 도입 로드맵은 목표 문장을 다음 주의 할 일과 다음 달의 관문으로 번역하는 문서입니다. 이 번역이 없으면 목표는 그대로인데 현장에서는 각 부서가 각자 다른 도구를 시험하는 상태가 길어집니다.

6단계는 과제 선정 → 준비도 점검 → PoC → 파일럿 → 운영 전환 → 전사 확산 순서입니다. 앞의 세 단계는 “해도 되는가”를 묻고, 뒤의 세 단계는 “계속 굴러가는가”를 묻습니다. 각 단계는 다음 단계의 입력이 되는 산출물을 남기고, 단계 사이에는 넘어가기 위한 조건, 즉 관문이 있습니다.

표의 기간을 더하면 첫 과제가 운영 전환까지 가는 데 대략 5~8개월이 걸립니다. 이 숫자를 처음부터 경영층과 합의해 두는 것이 중요합니다. “한 달 안에 AI로 성과를 보여 달라”는 기대와 실제 일정이 어긋나면, 3단계 PoC 결과만 보고 과제가 평가되고 4단계 이후의 일은 예산 없이 남겨지기 쉽습니다.

표에서 가장 자주 비어 있는 칸은 마지막 열입니다. 관문 없는 AI 도입 로드맵은 결과와 상관없이 일정만 흘러가는 계획표가 됩니다. 관문을 숫자로 적어 두면 두 가지가 좋아집니다. 하나는 멈춰야 할 과제를 일찍 멈출 수 있다는 점이고, 다른 하나는 넘어갈 과제에 예산을 붙일 근거가 생긴다는 점입니다. 이어지는 절에서 단계마다 어떤 숫자를 관문으로 삼는지 하나씩 정리합니다.

널리 쓰이는 4단계 틀과 나란히 놓으면 6단계가 어디를 더 나눴는지 보입니다. 아래 그림은 전략 수립, 과제 선정, PoC, 확장과 배포의 네 단계를 보여 주는데, 이 글의 AI 도입 로드맵은 그중 과제 선정 뒤에 준비도 점검을, PoC 뒤에 파일럿과 운영 전환을 따로 떼어 관문을 하나씩 더 둔 구조입니다.

그림. 전략 수립에서 확장과 배포까지 이어지는 AI 도입 네 단계

또 하나 짚어 둘 점은 단계가 반드시 일직선으로만 흐르지는 않는다는 사실입니다. 2단계 점검에서 데이터 공백이 크게 나오면 1단계로 돌아가 과제를 바꾸는 편이 낫고, 4단계 파일럿에서 조건부 판정이 나오면 3단계의 일부를 다시 돌립니다. 되돌아가는 화살표도 AI 도입 로드맵의 정상적인 경로로 그려 두면 팀이 “실패했다”는 부담 없이 방향을 고칠 수 있습니다.

1단계의 목표는 첫 과제 하나를 고르는 것입니다. 여러 개를 동시에 고르지 않는 이유는 첫 과제가 조직의 학습 비용을 대신 치르기 때문입니다. 데이터 반출 승인 절차, 보안 검토 양식, 비용 정산 방식 같은 것을 첫 과제에서 한 번 만들어 두면 두 번째 과제부터는 그대로 씁니다. 첫 과제가 셋이면 이 학습 비용을 세 번 동시에 치르게 됩니다.

과제 후보는 기술이 아니라 업무의 불편에서 모읍니다. “RAG를 써 보고 싶다”는 과제가 아니라 기술 선택입니다. “민원 답변 초안을 쓸 때마다 규정집 세 권을 뒤지느라 건당 40분이 걸린다”가 과제입니다. 부서별로 반복 업무, 문서 검색, 판단 보조, 고객 응대 영역에서 이런 불편 문장을 20~30개 받아 업무 인벤토리를 만듭니다. 이때 각 불편에 “주당 몇 건, 건당 몇 분”을 함께 적게 하면 2단계 이후의 효과 추정이 훨씬 쉬워집니다.

좋은 첫 과제에는 네 가지 공통점이 있습니다. 결과를 사람이 쉽게 검증할 수 있고, 틀렸을 때 피해가 작으며, 데이터가 이미 한곳에 모여 있고, 효과를 시간이나 건수로 잴 수 있습니다. 사내 규정 질의응답, 회의록·보고서 초안 작성, 고객 문의 1차 분류, 장애 로그 요약이 첫 과제로 자주 선택되는 이유가 여기에 있습니다. 반대로 대출 심사 자동 결정, 의료 판독처럼 오류 비용이 큰 과제는 첫 과제로 피하고 AI 도입 로드맵의 뒷부분에 배치합니다.

과제를 고를 때 흔히 놓치는 기준이 현업 책임자의 존재입니다. 효과가 아무리 커 보여도 그 업무를 매일 하는 부서장이 과제에 시간을 내지 않으면 파일럿 단계에서 사용률이 오르지 않습니다. 그래서 과제 정의서에는 기술 담당자와 함께 현업 책임자 이름을 반드시 적습니다. 과제 후보를 업종별로 넓게 살펴보고 싶다면 AI 활용 사례 15선이 제조·금융·공공·유통의 실제 적용 업무를 정리해 두었습니다.

과제 정의서는 한 장이면 충분합니다. 담길 항목은 업무 이름, 현재 처리 방식과 소요 시간, AI가 맡을 범위와 사람이 맡을 범위, 성공 지표와 기준선, 데이터 위치와 담당자, 현업 책임자와 기술 책임자입니다. 이 한 장이 이후 모든 단계의 기준 문서가 되므로, AI가 맡지 않는 범위를 명시하는 칸을 꼭 채워야 합니다. 범위 밖의 요청이 PoC 중간에 계속 붙으면 일정과 평가 기준이 함께 무너지기 때문입니다.

후보가 20개를 넘으면 회의로는 순서가 정해지지 않습니다. 그래서 점수표를 씁니다. 점수표의 목적은 정답을 찾는 것이 아니라, 왜 이 과제가 1순위인지를 경영층과 현업에 같은 언어로 설명하는 것입니다. 항목별로 1~5점을 매기고 가중치를 곱해 합산합니다.

점수표를 쓰면 흥미로운 일이 생깁니다. 경영층이 가장 기대하던 과제가 데이터 준비나 위험 점수에서 낮게 나오는 경우가 많습니다. 이때 그 과제를 버리는 것이 아니라, 데이터 정비를 선행 과제로 돌리고 AI 도입 로드맵의 두 번째 묶음으로 배치합니다. 이렇게 하면 기대하던 과제가 사라지는 것이 아니라 언제 시작할 수 있는지가 보이므로 설득이 쉬워집니다.

점수표의 결과를 두 축으로 옮기면 과제가 네 칸으로 갈립니다. 아래 그림처럼 사업 영향과 실현 가능성이 모두 높은 칸이 즉시 착수할 첫 과제이고, 영향은 크지만 준비가 덜 된 칸은 PoC와 파일럿을 반복하며 키울 전략 과제가 됩니다.

그림. 사업 영향과 실현 가능성으로 나눈 AI 과제 우선순위 매트릭스

가중치는 조직마다 달라야 합니다. 공공기관이라면 위험 수준과 데이터 준비에 가중치를 더 주고, 매출 압박이 큰 유통 기업이라면 업무 효과에 더 줍니다. 가중치를 정하는 회의 자체가 경영층이 무엇을 우선하는지 드러내는 자리이므로, 가중치 합의를 1단계의 공식 산출물로 남겨 두는 것을 권합니다. 이 기록은 나중에 과제가 바뀌었을 때 왜 바뀌었는지 설명하는 근거가 됩니다.

점수표가 끝나면 상위 세 과제의 기준선을 바로 측정합니다. 기준선은 AI를 적용하기 전의 처리 시간, 오류율, 건수입니다. 기준선이 없으면 파일럿이 끝난 뒤 “좋아진 것 같다”는 말만 남고, 4단계 관문을 숫자로 판정할 수 없습니다. 2주 정도 실제 업무를 기록하는 것만으로도 충분한 기준선이 나옵니다. 이 기준선 측정을 1단계 안에 끝내야 하는 이유는, 과제를 승인받은 뒤에는 모두가 PoC 준비로 바빠져 측정이 뒤로 밀리기 때문입니다.

2단계는 고른 과제를 지금 시작할 수 있는지 확인하는 단계입니다. 점검 영역은 데이터, 인프라, 보안·규제, 인력 네 가지입니다. 각 영역에서 “치명적 공백”이 하나라도 있으면 PoC를 시작하지 않고 그 공백부터 메웁니다. 이 원칙 하나가 Gartner가 경고한 중단 사유 대부분을 미리 걸러 냅니다.

데이터 영역에서는 과제에 필요한 문서와 기록이 어디에 어떤 형태로 있는지 확인합니다. 스캔 PDF, 한글 파일, 개인 폴더에 흩어진 엑셀은 그대로는 AI가 읽기 어렵습니다. 최신본이 어느 것인지, 누가 수정 권한을 갖는지, 개인정보나 영업 비밀이 섞여 있는지도 함께 봅니다. Gartner 조사에서 데이터 관리 책임자의 63%가 AI에 맞는 데이터 관리 체계를 갖추지 못했거나 확신하지 못한다고 답한 것처럼, 이 영역은 대부분의 조직에서 가장 큰 공백입니다.

인프라 영역에서는 모델을 어디서 돌릴지를 확인합니다. 외부 API를 쓸 수 있는 데이터인지, 사내에서만 처리해야 하는지에 따라 필요한 GPU, 네트워크, 저장소가 완전히 달라집니다. 데이터를 밖으로 보낼 수 없는 조직이라면 이 단계에서 온프레미스 추론 환경의 최소 사양을 확정해야 합니다. GPU를 늘리기 전에 확인할 것은 LLM 도입이 실패하는 이유는 GPU가 부족해서가 아니다에서 자세히 다룹니다.

보안·규제 영역에서는 과제가 개인정보, 고영향 판단, 대외 서비스에 해당하는지를 분류합니다. 해당한다면 개인정보 영향 평가, 내부 보안성 검토, 법무 검토 일정이 PoC 일정보다 앞서야 합니다. 인력 영역에서는 과제를 맡을 사람을 실명으로 적습니다. 기술 책임자, 현업 책임자, 데이터 담당자, 보안 담당자가 각각 주당 몇 시간을 낼 수 있는지 확인하고, 내부에서 채우지 못하는 칸은 외부 지원으로 메울지 결정합니다.

이 표의 해소 기간을 보면 2단계에서 공백을 발견하는 것이 오히려 일정을 지키는 길임을 알 수 있습니다. PoC 3주 차에 데이터 문제를 발견하면 PoC 전체가 다시 시작되지만, 2단계에서 발견하면 해소 작업을 PoC 준비와 겹쳐 진행할 수 있습니다. 준비도 점검을 외부 도움 없이 하기 어렵다면, 사전 인터뷰로 비즈니스 목표와 데이터 환경을 확인한 뒤 하루 동안 아키텍처와 데모까지 함께 그려 보는 무료 AI Discovery Workshop이 1·2단계 산출물을 짧은 기간에 확보하는 방법이 됩니다.

PoC는 기술적으로 되는가만 묻는 단계입니다. 업무에 쓰이는지, 사용자가 좋아하는지는 4단계 파일럿에서 묻습니다. 이 구분이 흐려지면 PoC가 끝없이 길어집니다. 기능을 하나씩 더 붙이며 “조금만 더 다듬으면 현업에 보여 줄 수 있다”는 상태가 석 달 넘게 이어지는 것이 가장 흔한 실패 모습입니다.

그래서 PoC는 4~6주로 기간을 고정하고, 시작 전에 증명할 숫자 세 가지를 정합니다. 첫째는 품질입니다. 예를 들어 규정 질의응답이라면 “평가 문항 200개 중 정답률 85% 이상, 근거 문서 제시율 95% 이상”처럼 씁니다. 둘째는 응답 시간입니다. “평균 5초 이내, 95% 구간 12초 이내”처럼 사용자가 기다릴 수 있는 한계를 적습니다. 셋째는 건당 비용입니다. 토큰 비용이나 GPU 사용 시간을 건당으로 환산해 현재 사람이 처리하는 비용과 비교할 수 있게 합니다.

평가 문항은 PoC 첫 주에 만듭니다. 현업 담당자가 실제로 받는 질문 가운데 쉬운 것, 어려운 것, 답이 없는 것, 일부러 헷갈리게 만든 것을 섞어 200~300개를 준비합니다. 답이 없는 질문에 “모른다”고 답하는 비율도 반드시 측정합니다. 그럴듯하게 틀리는 답변은 정답률보다 업무 신뢰를 더 크게 깎기 때문입니다. 문서 기반 답변의 근거를 강화하는 구조는 RAG란 무엇인가에서 파이프라인 단위로 볼 수 있습니다.

PoC에서 모델과 구성을 두세 가지 비교하는 것도 좋습니다. 외부 상용 모델, 사내에서 돌리는 공개 모델, 크기가 작은 특화 모델을 같은 평가 문항으로 돌려 보면 품질과 비용의 균형점이 보입니다. 이 비교 결과는 뒤의 도입 방식 결정과 예산 산정의 근거가 됩니다. PoC의 결론은 “된다·안 된다”가 아니라 “이 구성으로 이 품질을 이 비용에 낸다”는 한 문장이어야 합니다.

PoC 안에서도 단계마다 목표가 다르다는 점을 기억해 두면 회의가 짧아집니다. 아래 그림은 적용 업무 선정, 맞춤화, 모델 선택, 운영 통합으로 이어지는 흐름에서 각 단계의 목표가 기술 성능이 아니라 사내 합의, 유용성 검증, 후속 예산 확보라는 점을 보여 줍니다.

그림. PoC 전후 단계별 목표와 다루는 주제

PoC가 품질 하한을 넘지 못했다면 원인을 세 가지로 나눠 봅니다. 데이터가 부족했는지, 구성이 맞지 않았는지, 과제 자체가 AI에 맞지 않았는지입니다. 앞의 둘이라면 조건을 바꿔 한 번 더 돌리고, 마지막이라면 과제를 접고 점수표의 다음 과제로 넘어갑니다. 이 판단을 PoC 종료일에 회의 한 번으로 내릴 수 있도록, 시작 전에 “두 번까지만 다시 돈다”는 규칙을 적어 두면 좋습니다.

파일럿은 실제 사용자가 실제 업무에서 쓰는가를 확인하는 단계입니다. PoC가 실험실이라면 파일럿은 현장입니다. 기간은 8~12주로 잡고, 사용자는 우호적인 한 부서가 아니라 업무 성격이 다른 두 부서 이상으로 구성합니다. 한 부서에서만 검증한 결과는 확산 단계에서 “우리 부서는 사정이 다르다”는 반론을 넘지 못합니다.

파일럿에서 보는 숫자는 PoC와 다릅니다. 정확도보다 사용률, 업무 시간 변화, 사람이 고쳐 쓴 비율이 중심입니다. 정확도가 90%여도 사용자가 결과를 믿지 못해 매번 처음부터 다시 확인한다면 업무 시간은 줄지 않습니다. 반대로 정확도가 80%여도 초안 작성 시간을 절반으로 줄여 준다면 충분히 쓸 만합니다. 1단계에서 잰 기준선이 여기서 비로소 쓰입니다.

같은 흐름을 시험, 위임, 확산의 세 단계로 보면 파일럿의 성격이 더 분명해집니다. 아래 그림에서 시험 단계의 지표는 PoC 후보 아이디어 수이지만, 업무를 실제로 맡기는 위임 단계부터는 업무 효과 지표와 위험 대응 체계가 판정 기준이 됩니다.

그림. 시험·위임·확산 단계별 지표와 점검 항목

이 표에서 가장 중요한 줄은 마지막 줄입니다. No-Go는 실패가 아니라 AI 도입 로드맵이 정상적으로 작동했다는 증거입니다. 판정 없이 확산으로 밀어붙인 과제가 운영 단계에서 더 큰 비용을 남깁니다. MIT 연구진의 2025년 조사를 인용한 Fortune 보도는 기업 생성형 AI 파일럿의 대다수가 손익에 측정 가능한 영향을 남기지 못했다고 전했습니다. 숫자의 크기보다 눈여겨볼 점은, 영향을 남긴 소수가 대부분 업무 흐름 자체를 바꾼 경우였다는 대목입니다.

도구나 업무 형태가 정해진 과제라면 같은 PoC·파일럿·확산 흐름을 구체적으로 적용한 글도 함께 읽어 볼 만합니다. 코딩 도구에 이 흐름을 적용한 Claude Code 기업 도입 3단계와 노코드 워크플로우에 적용한 노코드 AI Agent 워크플로우 도입 5단계가 그 예입니다.

파일럿 기간에는 사용자 피드백 창구를 하나로 모읍니다. 메신저, 메일, 구두로 흩어진 의견은 분석할 수 없습니다. 답변마다 좋아요·싫어요와 짧은 사유를 남기게 하고, 주 1회 현업 책임자와 함께 상위 불만 다섯 가지를 검토합니다. 이 주간 검토 기록이 Go/No-Go 판정 회의의 가장 설득력 있는 자료가 됩니다. AI 에이전트 형태의 과제라면 단계별 적용과 비용 변화를 다룬 AI Agent 도입 로드맵의 시나리오를 함께 참고하시면 파일럿 범위를 잡기 쉽습니다.

파일럿에서는 비용 곡선도 함께 그립니다. 사용자 수가 10명에서 50명으로 늘 때 토큰 비용이나 GPU 사용량이 어떻게 늘어나는지를 주 단위로 기록하면, 전사 확산 때의 운영비를 미리 추정할 수 있습니다. 많은 조직이 파일럿 비용만 보고 확산 예산을 잡았다가, 사용자 수가 늘자 비용이 예상보다 가파르게 오르는 상황을 겪습니다. 이 곡선은 5단계 운영 전환의 용량 계획과 6단계 공통 플랫폼 설계의 입력이 됩니다.

운영 전환은 파일럿에서 검증한 서비스를 매일 안정적으로 돌아가는 업무 시스템으로 바꾸는 단계입니다. 많은 AI 도입 로드맵이 이 단계를 빠뜨립니다. 파일럿이 Go 판정을 받으면 곧바로 “전사 확산”으로 넘어가는데, 그 사이에 운영 체계가 없으면 확산된 서비스가 장애와 품질 저하를 동시에 겪습니다.

운영 전환에서 무너지는 지점은 대체로 네 곳입니다. 첫째, 책임자 공백입니다. 파일럿을 이끈 프로젝트 팀이 해산하면 서비스를 누가 운영하는지 불분명해집니다. 둘째, 품질 감시 부재입니다. 문서가 바뀌거나 모델이 업데이트되면 답변 품질이 조용히 떨어지는데, 이를 감지하는 평가 체계가 없습니다. 셋째, 비용 통제 부재입니다. 사용량이 늘면서 토큰과 GPU 비용이 예산을 넘어도 부서별로 나눠 볼 수단이 없습니다. 넷째, 변경 절차 부재입니다. 프롬프트 한 줄을 바꾸는 일이 운영 서비스 전체에 영향을 주는데, 승인과 기록 없이 바뀝니다.

이 네 곳을 막는 것이 흔히 LLMOps라고 부르는 운영 체계입니다. 구성 요소는 어렵지 않습니다. 서비스 책임자와 대체 책임자, PoC 때 만든 평가 문항으로 매주 자동 회귀 평가, 부서별·과제별 사용량과 비용 대시보드, 프롬프트와 모델 버전의 변경 이력과 승인 절차, 그리고 장애 시 사람 처리로 되돌리는 절차입니다. 운영 절차서에 “AI가 멈추면 어떻게 하는가”를 적어 두는 것이 가장 자주 빠지는 항목입니다.

운영 전환의 관문은 서비스 수준 목표입니다. 응답 시간, 가용성, 주간 회귀 평가 점수, 월간 비용 상한 네 가지를 정하고 두 달 연속 충족하면 확산 단계로 넘깁니다. 두 달이라는 기간은 월말 업무 폭주, 문서 개정, 모델 업데이트 같은 변화를 최소 한 번씩 겪어 보기 위한 최소 시간입니다. 이 기간에 쌓인 장애 기록과 대응 이력은 6단계에서 공통 플랫폼의 운영 기준이 됩니다.

운영 전환 단계에서 또 하나 정해야 할 것이 사용자 교육과 지원 체계입니다. 파일럿 참여자는 프로젝트 팀과 가까이 일하며 사용법을 익혔지만, 운영 단계의 신규 사용자는 그런 지원 없이 서비스를 처음 만납니다. 30분짜리 짧은 사용 안내, 잘 쓰는 질문 예시 모음, 문제가 생겼을 때 연락할 창구 세 가지만 준비해도 초기 이탈이 크게 줄어듭니다. 교육 자료는 파일럿 기간의 주간 검토 기록에서 자주 나온 질문을 그대로 옮겨 만들면 가장 실용적입니다.

전사 확산의 성공 기준은 서비스를 많이 띄우는 것이 아니라 두 번째, 세 번째 과제가 첫 과제보다 빨리 끝나는 것입니다. 첫 과제에 7개월이 걸렸다면 두 번째는 4개월, 세 번째는 2개월 안에 운영에 들어가야 확산이 작동하고 있는 것입니다. 이 속도는 공통 플랫폼과 표준 양식에서 나옵니다.

공통 플랫폼은 과제마다 반복되는 부품을 한곳에 모은 기반입니다. 모델 호출을 한 창구로 모으는 게이트웨이, 문서를 검색 가능한 형태로 바꾸는 파이프라인, 사용자 권한과 데이터 경계를 관리하는 접근 통제, 사용량과 품질을 보는 관측 도구가 대표적입니다. 이 부품이 과제마다 따로 만들어지면 같은 기능을 여러 번 사고, 모델을 바꿀 때 재작업도 과제 수만큼 늘어납니다. 공통 기반에 무엇을 올릴지는 AI Native Platform 가이드와 AI Agent 체크리스트가 구성 요소 단위로 정리해 두었습니다.

공공 부문 AI 사업을 분석한 오픈마루 백서는 이 문제를 업무 시스템마다 AI 모듈을 하나씩 붙이는 구조로 설명합니다. 시스템이 N개면 모델도, 데이터 연결도, 보안성 검토도 N번 반복되기 때문에 비용과 일정이 시스템 수만큼 늘어납니다. 플랫폼 한 곳이 모든 업무 시스템에 표준 창구를 제공하면 보안성 검토를 한 번으로 줄여 사업 일정을 수개월 앞당길 수 있고, 데이터 통제도 한곳에서 관리하게 됩니다.

확산의 방향은 아래 그림처럼 범용 도구에서 부서별 특화 AI를 거쳐 업무 흐름 전체를 잇는 에이전트로 넓어집니다. 단계마다 과제 선정 기준이 바뀐다는 점이 중요합니다. 첫 단계는 모든 부서에 쓰이는 저비용 단기 과제, 다음 단계는 부서별 효과를 따지는 과제, 마지막 단계는 앞 단계 과제를 업그레이드하는 과제가 됩니다.

그림. 범용 LLM에서 Agentic AI로 넓혀 가는 전사 확산 3단계

표준 양식은 1~5단계에서 만든 문서를 템플릿으로 바꾸는 일입니다. 과제 정의서, 점수표, 준비도 점검표, PoC 평가 문항 작성법, 파일럿 판정표, 운영 절차서를 양식으로 만들어 두면 두 번째 과제 팀은 빈칸만 채우면 됩니다. 첫 과제 팀이 겪은 시행착오를 양식에 녹이는 것이 확산 속도를 가장 크게 바꿉니다.

조직 측면에서는 과제 접수와 우선순위 결정을 맡는 작은 전담 조직이 필요합니다. 흔히 AI CoE(Center of Excellence)라고 부르는 이 조직은 직접 모든 과제를 만들지 않습니다. 현업이 과제를 접수하면 점수표로 순서를 정하고, 공통 플랫폼과 양식을 제공하며, 관문 판정에 참여합니다. 인력 구성과 역할 설계는 AI 인재 부족 시대, 5대 역량과 거버넌스에서 이어서 볼 수 있습니다.

확산 단계에서 경영층에게 보고할 숫자도 바뀝니다. 개별 과제의 정확도가 아니라 운영 중인 과제 수, 과제당 평균 착수 기간, 과제 전체의 누적 절감 시간, 월간 총비용이 중심이 됩니다. 이 네 숫자를 분기마다 같은 양식으로 보고하면 AI 도입 로드맵이 개별 프로젝트 묶음이 아니라 하나의 운영 체계로 인식되고, 다음 해 예산 논의도 과제 단위가 아니라 체계 단위로 이뤄집니다.

도입 방식은 크게 세 가지입니다. 완성된 AI 서비스를 사용자 수만큼 쓰는 구독형, 상용 모델을 API로 불러 사내 시스템에 붙이는 API형, 공개 모델이나 상용 모델을 사내 인프라에서 직접 운영하는 구축형입니다. 어느 방식이 정답인지는 조직마다 다르지만, 언제 정하는지는 공통입니다. 2단계 준비도 점검에서 1차로 정하고, 3단계 PoC 비교 결과로 확정합니다.

방식을 너무 일찍 정하면 문제가 생깁니다. 예를 들어 1단계에서 “보안 때문에 무조건 구축형”으로 정하면, GPU 조달 기간 때문에 PoC가 석 달 늦어집니다. 반대로 끝까지 정하지 않으면 PoC는 외부 API로 성공했는데 운영 단계에서 데이터 반출이 막혀 처음부터 다시 만들게 됩니다. 그래서 PoC는 빠른 방식으로 하되, 운영 환경의 제약을 PoC 설계에 미리 반영하는 것이 현실적인 절충입니다. 사내에서 운영할 모델로 PoC를 함께 돌려 보면 이 위험을 줄일 수 있습니다.

비용 비교는 3년 총비용으로 합니다. 구독형과 API형은 처음에는 싸지만 사용량에 비례해 늘고, 구축형은 처음에 크지만 사용량이 늘수록 건당 비용이 내려갑니다. 사용자 수와 호출량이 일정 수준을 넘는 시점이 바뀌는 지점인데, 이 계산은 파일럿에서 그린 비용 곡선으로 합니다. 사내 운영 모델의 총비용 구조는 프라이빗 sLLM — 데이터 주권과 TCO에서 항목별로 확인할 수 있습니다.

현실에서는 세 방식을 섞어 쓰는 조직이 많습니다. 개인 문서 작성은 구독형으로 열어 두고, 대외 서비스 실험은 API형으로 빠르게 돌리며, 민감 데이터를 다루는 핵심 업무는 구축형으로 옮기는 식입니다. 이렇게 섞을 때 중요한 것은 방식마다 허용되는 데이터 등급을 문서로 정해 두는 것입니다. 등급표가 없으면 사용자가 편한 도구에 민감한 문서를 붙여 넣는 일이 생기고, 그 한 번의 사고가 전체 AI 도입 로드맵의 신뢰를 흔듭니다.

AI 도입 로드맵을 승인받을 때 가장 많이 받는 질문은 “얼마가 들고 몇 명이 필요한가”입니다. 정확한 금액은 과제와 방식에 따라 다르지만, 단계마다 돈과 사람이 들어가는 곳은 일정한 패턴을 보입니다. 이 패턴을 알면 예산을 한 번에 다 요청하지 않고 관문마다 나눠 요청할 수 있습니다.

표에서 보듯 1·2단계는 대부분 내부 인건비로 처리됩니다. 큰돈이 들어가는 시점은 4단계 이후입니다. 이 구조를 경영층에 먼저 보여 주면 “AI 도입에 수십억이 든다”는 막연한 부담을 “PoC 결과를 보고 다음 예산을 결정한다”는 단계적 의사결정으로 바꿀 수 있습니다. 비용 항목별 상세 비교는 별도 글에서 이어서 다룰 예정입니다.

인력에서 가장 부족한 칸은 대개 평가 담당자입니다. 평가 문항을 만들고 결과를 판정하는 일은 현업 지식과 AI 이해를 함께 요구하는데, 어느 쪽 부서도 이 일을 자기 업무로 여기지 않습니다. 평가 담당자를 명시적으로 지정하고 업무 시간의 일정 비율을 공식적으로 배정하는 것만으로도 PoC와 파일럿의 판정 품질이 크게 올라갑니다.

외부 지원을 쓸 때는 단계별로 쓰임새가 다릅니다. 1·2단계에서는 진단과 과제 발굴 경험이 있는 컨설팅이, 3·4단계에서는 구축 경험이 있는 기술 파트너가, 5·6단계에서는 플랫폼과 운영 도구가 도움이 됩니다. 모든 단계를 한 업체에 통째로 맡기면 내부에 학습이 남지 않아 두 번째 과제에서 다시 같은 비용을 치르게 됩니다. 기업 상황에 맞춘 외부 지원을 검토한다면 기업 맞춤형 AI 도입 전략 — 무상 AI 컨설팅에서 진행 방식을 확인할 수 있습니다.

AI 도입 로드맵이 아무리 잘 짜여 있어도 첫 90일에 움직임이 보이지 않으면 동력이 사라집니다. 반대로 첫 90일에 작은 성과와 분명한 판정을 보여 주면 이후 단계의 예산과 협조가 훨씬 쉬워집니다. 아래는 1~3단계를 90일 안에 마치는 실행 계획의 예시입니다.

이 계획에서 눈여겨볼 점은 13주 차에 이미 2순위 과제의 준비를 시작한다는 것입니다. 1순위 과제가 파일럿으로 넘어가는 동안 2순위 과제의 준비도 점검을 겹쳐 진행하면, 첫 과제의 운영 전환 시점에 두 번째 과제가 PoC를 마칩니다. 이렇게 겹쳐 돌리는 리듬이 6단계 전사 확산의 출발점입니다.

90일 계획을 시작하는 조직이 다음 30일 안에 결정해야 할 일은 세 가지입니다. 추진 책임자 한 명, 점수표 가중치, 기준선 측정 대상 업무입니다. 이 셋이 정해지지 않은 상태에서 도구부터 고르면 90일 계획은 도구 비교표만 남기고 끝나기 쉽습니다. AI 도입 로드맵의 첫 결정은 기술이 아니라 사람과 기준이어야 합니다.

90일 보고 자리에서는 성과보다 판정 기록을 먼저 보여 주는 것이 좋습니다. “PoC가 품질 하한을 넘었고, 비용은 건당 얼마이며, 파일럿은 두 부서에서 10주간 진행한다”는 보고는 화려한 시연보다 경영층의 신뢰를 더 크게 얻습니다. 시연은 다음 질문을 낳지만 판정 기록은 다음 결정을 낳기 때문입니다.

공공기관의 AI 도입 로드맵은 민간과 같은 6단계를 따르지만, 2단계 준비도 점검과 도입 방식 결정의 비중이 훨씬 큽니다. 행정 데이터는 개인정보와 내부 문서가 많고, 외부 클라우드 사용에는 보안 인증과 등급 분류가 따르며, 예산은 회계연도 단위로 편성되기 때문입니다.

예산 주기는 일정에 직접 영향을 줍니다. 민간 기업은 PoC 결과를 보고 다음 분기 예산을 붙일 수 있지만, 공공기관은 다음 해 예산 요구 시점에 맞춰 근거를 내야 합니다. 그래서 공공기관의 AI 도입 로드맵은 예산 요구 일정에서 거꾸로 계산해 1~3단계를 배치합니다. 상반기 안에 PoC 결과가 나와야 다음 해 파일럿 예산을 요구할 수 있는 식입니다. 조달 방식도 미리 정해 두어야 합니다. 디지털서비스 계약, 일반 구매, 용역 중 무엇으로 할지에 따라 2단계와 3단계 사이에 한두 달이 더 들 수 있습니다.

광역지자체나 중앙부처 한 곳을 기준으로 AI 플랫폼 사업의 일정을 따져 보면, 발주에서 운영 정상화까지 대략 18~24개월이 걸린다는 분석이 있습니다. 사전 컨설팅과 정보화 전략 수립에 2~3개월, 보안성 검토에 2~3개월, 인프라 구축에 3~4개월, 첫 업무 적용에 3개월, 이후 여러 업무로 넓히는 확산에 6~12개월이 드는 구조입니다. 공공기관의 AI 도입 로드맵은 이 일정을 다년도 예산 분할표와 함께 마스터플랜에 넣어 두어야 차년도 예산이 끊기지 않습니다.

데이터 반출 문제는 공공기관에서 가장 먼저 부딪히는 벽입니다. 내부망 문서를 외부 상용 모델에 보낼 수 없다면 기관 내부에서 모델을 운영해야 하고, 그 경우 GPU와 운영 인력이 AI 도입 로드맵의 앞단에 들어옵니다. 공공 부문이 왜 온프레미스를 기본 선택지로 검토하는지는 공공기관 AI, 왜 온프레미스여야 하는가에서, 정부 지침이 요구하는 점검 항목은 2025 공공 AI 도입 가이드라인에서 정리해 두었습니다.

공공기관 AI 도입 로드맵에서 좋은 첫 과제는 내부 행정 업무입니다. 민원 답변 초안, 법령·규정 검색, 보고서 요약처럼 담당 공무원이 결과를 검토한 뒤 사용하는 업무는 위험 점수가 낮고 효과를 측정하기 쉽습니다. 대국민 서비스는 내부 업무에서 운영 체계를 검증한 뒤 AI 도입 로드맵의 뒷부분에 배치하는 것이 안전합니다. 실제 대국민 적용 사례가 궁금하다면 공공기관 Ask Gov 도입 사례를 참고하시기 바랍니다.

공공기관에서는 감사 대응도 AI 도입 로드맵에 들어가야 합니다. AI가 만든 초안을 근거로 행정 처리가 이뤄졌다면, 나중에 그 판단 과정을 설명할 수 있어야 합니다. 질문과 답변, 참조한 문서, 최종 결재자의 수정 내용을 함께 남기는 기록 체계를 5단계 운영 전환의 필수 항목으로 넣어 두면 감사 대응 부담이 크게 줄어듭니다.

업종에 따라 같은 6단계라도 무게 중심이 달라집니다. 금융권은 규제와 설명 가능성이, 제조업은 현장 데이터와 설비 연동이, 중견기업은 인력과 비용이 AI 도입 로드맵을 결정합니다. 이 차이를 처음부터 반영하지 않으면 다른 업종의 성공 사례를 그대로 따라 하다가 2단계에서 멈추게 됩니다.

금융권은 2024년 이후 규제 환경이 크게 바뀌었습니다. 금융위원회가 발표한 금융분야 망분리 개선 로드맵은 생성형 AI 활용을 위한 단계적 규제 개선을 담고 있어, 금융회사의 AI 도입 로드맵은 이 개선 일정과 자사 내부 통제 절차를 함께 맞춰 배치해야 합니다. 국내 금융그룹들이 실제로 어떤 순서로 AI를 넓혀 갔는지는 국내 기업 AI 도입 사례에서 기업별로 비교해 볼 수 있습니다.

제조업은 현장 데이터의 형식 차이가 가장 큰 변수입니다. 설비마다 로그 형식이 다르고, 정비 기록이 수기로 남은 곳도 많습니다. 그래서 제조업의 첫 과제는 설비 제어처럼 위험이 큰 영역이 아니라, 정비 매뉴얼과 과거 고장 기록을 검색해 주는 지식 보조처럼 데이터 정비 부담이 작은 영역에서 시작하는 편이 안전합니다. 현장 검증 단계에서는 교대 근무자 모두가 써 볼 수 있도록 파일럿 기간을 조금 더 길게 잡습니다.

중견기업은 과제를 하나에 집중하는 것이 무엇보다 중요합니다. 담당자 한두 명이 여러 업무를 겸하는 상황에서 과제를 셋 벌이면 어느 것도 파일럿을 넘지 못합니다. 또 공통 플랫폼을 처음부터 자체 구축하기보다, 검증된 플랫폼을 활용해 6단계의 부담을 줄이는 쪽이 현실적입니다. 중견기업의 AI 도입 로드맵은 대기업 AI 도입 로드맵을 축소한 것이 아니라, 선택과 집중의 순서를 바꾼 것입니다.

2026년 1월 22일 인공지능 기본법이 시행되면서 규제 대응은 AI 도입 로드맵의 선택 항목이 아니라 필수 항목이 됐습니다. 핵심은 규제 대응을 마지막 단계에 몰아넣지 않고 단계마다 나눠 배치하는 것입니다. 마지막에 한 번에 검토하면 파일럿까지 끝난 서비스를 처음부터 다시 설계해야 하는 일이 생깁니다.

1단계 과제 선정에서는 과제가 고영향 인공지능에 해당하는지 사전에 검토합니다. AI 기본법 제33조제1항은 이 사전 검토를 사업자의 의무로 두고, 필요하면 과학기술정보통신부 장관에게 확인을 요청할 수 있게 합니다. 고영향 인공지능은 채용·대출 심사, 보건의료, 공공서비스 자격 결정처럼 법 제2조제4호가 열거한 영역에서 쓰이면서 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 시스템이고, 해당하면 위험관리방안·설명 방안·이용자 보호 방안·사람의 관리·감독·문서 작성과 보관 같은 제34조제1항 책무가 따릅니다. 이런 과제는 점수표의 위험 항목에서 낮은 점수를 받아 자연스럽게 AI 도입 로드맵 뒤쪽으로 배치됩니다. 2단계에서는 개인정보 처리 근거와 데이터 반출 가능 여부를 확인합니다. 외부 이용자에게 처음 서비스를 내보내는 4단계 파일럿 전에는 사전 고지와 결과물 표시를 갖추고, 고영향이면 제34조 책무도 이때까지 갖춰야 합니다. 이 책무는 고영향 인공지능을 “제공하는 경우”에 걸리므로 운영 전환까지 미룰 수 없습니다. 5단계에서는 근거 문서 보관(시행령 제27조제2항, 5년)과 주요 내용 게시(같은 조 제1항)를 운영 절차로 굳힙니다.

국제 기준을 함께 참고하면 내부 통제 체계를 설계하기 쉽습니다. 미국 국립표준기술연구소의 AI 위험관리 프레임워크(AI RMF)는 거버넌스·맥락 파악·측정·관리의 네 기능으로 위험 관리를 나누고, OECD AI 원칙은 투명성과 책임성을 강조합니다. 이 기준들을 그대로 옮기기보다 6단계 AI 도입 로드맵의 각 관문에 점검 항목으로 녹이는 것이 실무적으로 작동하는 방법입니다. 점검표를 짤 때는 의무의 강도도 구분해 둡니다. AI 기본법 제43조에 따라 과태료(3천만원 이하)가 바로 붙는 것은 사전 고지(제31조제1항), 국내대리인 지정(제36조제1항), 중지·시정명령 이행(제40조제3항) 세 가지입니다. 결과물 표시와 고영향 책무는 사실조사와 시정명령의 대상이고, 영향평가(제35조)와 검·인증(제30조제3항)은 “노력하여야 한다”로 쓰인 노력 의무입니다. 직원 업무에만 쓰는 AI에 대해서는 시행령 제23조제4항제2호가 “내부 업무 용도로만 사용되는 경우” 고지·표시 방법 규정의 전부 또는 일부를 적용하지 않을 수 있다고 정하지만, 그 범위는 조문이 정하지 않으므로 법무 확인이 필요합니다. 법령 원문은 국가법령정보센터의 인공지능 기본법에서 확인할 수 있으며, 구체적인 의무 해석은 공개 전 법무 검토를 거치는 것이 안전합니다.

거버넌스를 문서가 아니라 아키텍처의 한 계층으로 두는 방법은 엔터프라이즈 AI란 무엇인가에서 다룹니다. 접근 통제, 데이터 경계, 판단 근거 추적을 공통 플랫폼의 기능으로 구현해 두면, 과제가 늘어도 규제 대응 비용이 과제 수만큼 늘지 않습니다. 규제 대응을 공통 플랫폼에 올리는 것이 6단계 전사 확산의 비용을 줄이는 가장 확실한 방법입니다.

AI 도입 로드맵의 성과 지표는 단계마다 달라야 합니다. 모든 단계에서 “정확도”만 보면 PoC는 통과하지만 파일럿에서 사용되지 않는 서비스가 나오고, 모든 단계에서 “비용 절감액”만 보면 PoC 단계부터 성과를 내라는 무리한 압박이 생깁니다. 단계의 질문에 맞는 지표를 고르는 것이 측정의 첫 원칙입니다.

지표를 정할 때 특히 조심할 것이 만족도 설문에만 기대는 측정입니다. 새 도구에 대한 초기 만족도는 높게 나오기 쉽지만, 실제 업무 시간이 줄었는지는 별개입니다. 파일럿에서는 설문과 함께 시스템 로그로 사용 빈도를, 업무 기록으로 처리 시간을 함께 측정해야 판정이 흔들리지 않습니다.

McKinsey의 State of AI 조사는 AI로 실제 이익 기여를 보고한 조직일수록 업무 흐름 재설계와 성과 추적 체계를 함께 갖추고 있다고 정리합니다. 다시 말해 측정 체계 자체가 성과의 조건입니다. 측정하지 않는 과제는 개선되지 않고, 개선되지 않는 과제는 확산 예산을 받지 못합니다. 그래서 측정 체계 구축 비용은 부가 비용이 아니라 AI 도입 로드맵 본체의 일부로 예산에 넣어야 합니다.

지표는 많을수록 좋은 것이 아닙니다. 단계마다 판정에 쓰는 지표 두세 개와 참고 지표 몇 개로 나눠 두면 회의가 길어지지 않습니다. 판정 지표는 관문 문장에 그대로 들어가는 숫자이고, 참고 지표는 원인을 분석할 때 꺼내 보는 숫자입니다. 이 구분이 없으면 지표가 열 개를 넘어가면서 어떤 숫자를 근거로 판정해야 하는지 매번 논쟁이 생깁니다.

AI 도입 로드맵이 멈추는 자리는 대개 정해져 있습니다. 미리 알고 있으면 피할 수 있고, 피하지 못하더라도 일찍 알아챌 수 있습니다. 실패 원인 전반을 조직·데이터·프로세스 관점에서 더 깊이 보고 싶다면 AI 도입이 실패하는 이유와 피하는 법을 함께 읽으시기 바랍니다.

첫째, 도구부터 고르는 함정입니다. 유명한 제품을 먼저 계약하고 그 제품으로 할 수 있는 일을 찾으면 과제 선정 단계가 거꾸로 돌아갑니다. 도구는 3단계 PoC의 비교 결과로 정해야 합니다. 둘째, PoC 무한 연장의 함정입니다. 기간과 관문 없이 시작한 PoC는 기능 추가 요청을 받으며 끝없이 길어집니다. 4~6주 고정과 “두 번까지만 다시 돈다”는 규칙이 해법입니다.

셋째, 파일럿에서 운영으로 건너뛰는 함정입니다. Go 판정 직후 프로젝트 팀이 해산하면 운영 책임자가 없는 서비스가 남습니다. 5단계 운영 전환을 독립된 단계로 두고 서비스 수준 목표를 관문으로 삼아야 합니다. 넷째, 데이터 정비를 미루는 함정입니다. 데이터 문제를 “나중에 고치자”고 넘기면 파일럿 품질이 정체되고, 확산 단계에서 부서마다 같은 문제가 반복됩니다.

다섯째, 에이전트 범위를 너무 넓히는 함정입니다. 최근에는 첫 과제부터 여러 시스템을 스스로 조작하는 AI 에이전트를 목표로 삼는 경우가 늘었습니다. Gartner는 에이전트형 AI 프로젝트의 40% 이상이 2027년 말까지 취소될 것이라고 전망하며 비용 상승과 불명확한 가치를 이유로 들었습니다. 에이전트는 AI 도입 로드맵의 뒷단계에서, 조회형 과제로 운영 체계를 검증한 뒤 쓰기 권한을 단계적으로 넓히는 방식이 안전합니다.

에이전트로 가는 길도 단계로 나눠 보면 덜 위험합니다. 오픈마루가 정리한 공공기관 AI 백서는 AI 활용 깊이를 프롬프트 작성, 문서를 함께 주는 RAG, 도구와 정책을 묶는 하네스, 에이전트 프레임워크, 비개발자가 만드는 워크플로 빌더, 여러 에이전트를 운영하는 오케스트레이션의 6단계로 나눕니다. 사내 챗봇 하나만 들여놓으면 첫 단계에 머물러 몇 달 뒤 효용이 정체되기 쉽고, 플랫폼 위에서 단계를 하나씩 올려야 투자 효과가 이어진다는 것이 이 구분의 요지입니다.

다섯 함정에는 공통점이 있습니다. 모두 관문을 건너뛴 결과라는 점입니다. 도구를 먼저 고르면 1단계 관문을, PoC를 늘리면 3단계 관문을, 운영 없이 확산하면 5단계 관문을 건너뜁니다. 그래서 함정을 피하는 가장 간단한 방법은 관문 문장을 AI 도입 로드맵 첫 장에 적어 두고, 단계가 바뀔 때마다 그 문장을 소리 내어 확인하는 것입니다. 단순해 보이지만 이 습관이 있는 팀과 없는 팀의 차이는 6개월 뒤에 분명하게 드러납니다.

MSAP.ai는 AI 도입 로드맵의 각 단계에서 필요한 기반을 제공합니다. 1·2단계에서는 AI Discovery Workshop으로 과제 발굴과 준비도 점검을 함께 진행합니다. 사전 인터뷰로 업무 목표와 데이터 환경을 확인한 뒤, 하루 동안 아키텍처 설계와 데모까지 이어 가므로 과제 정의서와 점검표의 상당 부분을 짧은 기간에 확보할 수 있습니다.

3~5단계에서는 데이터를 외부로 보내지 않고 사내에서 모델을 운영하는 환경을 제공합니다. 쿠버네티스 위에 모델 서빙, 문서 검색, 게이트웨이, 관측 도구를 올린 구성으로 PoC에서 검증한 구성을 운영 환경에 그대로 옮길 수 있게 합니다. PoC 구성과 운영 구성이 같으면 운영 전환 단계에서 다시 만드는 비용이 사라집니다.

6단계 전사 확산에서는 과제마다 반복되는 부품을 공통 플랫폼으로 묶어 두 번째 과제부터의 착수 기간을 줄입니다. 공공기관과 금융기관처럼 데이터 반출이 어려운 조직, 그리고 여러 부서가 각자 AI를 시도하다가 비용과 통제가 흩어진 조직에서 특히 효과가 큽니다. 지금 어느 단계에 있든, 다음 관문을 넘기 위해 무엇이 빠져 있는지부터 함께 점검해 보시기 바랍니다.

• AI 도입 로드맵은 과제 한 건 단위의 실행 계획입니다. 회사 전체 전략은 AX 추진 전략과 로드맵에서, 개별 과제의 실행은 이 6단계로 나눠 봅니다.
• 6단계는 과제 선정 → 준비도 점검 → PoC → 파일럿 → 운영 전환 → 전사 확산이며, 첫 과제가 운영에 들어가기까지 대략 5~8개월이 걸립니다.
• 단계 사이의 관문을 숫자로 적는 것이 AI 도입 로드맵의 품질을 결정합니다. 관문이 없으면 결과와 상관없이 일정만 흘러갑니다.
• 첫 과제는 효과·데이터 준비·검증 용이성·위험·현업 의지·확장성 점수표로 고르고, 시작 전에 기준선을 잽니다.
• PoC는 4~6주 고정으로 품질·응답 시간·건당 비용을, 파일럿은 8~12주 동안 사용률과 업무 시간 변화를 봅니다.
• 운영 전환은 책임자·회귀 평가·비용 대시보드·변경 절차를 갖추고 서비스 수준 목표를 두 달 연속 충족해야 끝납니다.
• 도입 방식은 2단계에서 1차로, PoC 비교로 확정하며, 규제 대응은 마지막이 아니라 단계마다 나눠 넣습니다.
• 전체 그림은 AI(인공지능)란 무엇인가에서, AI 정의부터 기업 도입까지 이어서 볼 수 있습니다.

AI 도입 로드맵은 몇 단계로 짜야 하나요?

과제 선정, 준비도 점검, PoC, 파일럿, 운영 전환, 전사 확산의 6단계로 짜는 것이 실무에 맞습니다. 앞의 세 단계는 해도 되는지를, 뒤의 세 단계는 계속 운영되는지를 확인하며, 단계 사이마다 숫자로 된 관문을 둡니다.

AI 도입은 무엇부터 시작해야 하나요?

도구가 아니라 추진 책임자 지정과 업무 불편 수집부터 시작합니다. 부서별로 반복 업무와 문서 검색의 불편을 20~30건 모아 점수표로 첫 과제 하나를 고르고, 적용 전 처리 시간과 오류율 같은 기준선을 먼저 측정합니다.

PoC와 파일럿은 무엇이 다른가요?

PoC는 4~6주 동안 기술적으로 되는지를 정답률·응답 시간·건당 비용으로 확인하는 단계입니다. 파일럿은 8~12주 동안 실제 사용자가 실제 업무에서 쓰는지를 사용률과 처리 시간 변화로 확인하고, Go·조건부·No-Go로 판정합니다.

첫 AI 과제가 운영에 들어가기까지 얼마나 걸리나요?

과제 선정부터 운영 전환까지 대략 5~8개월이 걸립니다. 과제 선정과 준비도 점검에 4~7주, PoC에 4~6주, 파일럿에 8~12주, 운영 전환에 4~8주가 들며, 두 번째 과제부터는 공통 플랫폼과 표준 양식 덕분에 기간이 줄어듭니다.

구독형과 구축형 중 어떤 방식으로 AI를 도입해야 하나요?

데이터 반출 가능 여부와 3년 총비용으로 정합니다. 민감 데이터가 없고 빠른 시작이 중요하면 구독형이나 API형이, 데이터를 밖으로 보낼 수 없거나 사용량이 많으면 구축형이 유리하며, 2단계에서 1차로 정하고 PoC 비교 결과로 확정합니다.

AI 기본법 시행으로 AI 도입 로드맵에서 무엇을 바꿔야 하나요?

규제 대응을 마지막에 몰아넣지 말고 단계마다 나눠 배치해야 합니다. 과제 선정에서 고영향 해당 여부를 사전 검토하고(제33조), 준비도 점검에서 개인정보 처리 근거를 확인하고, 외부 이용자에게 내보내는 파일럿 전까지 사전 고지(제31조제1항, 과태료 대상)와 결과물 표시, 고영향이면 제34조 책무를 갖추고, 운영 전환에서 근거 문서 보관과 게시를 절차로 굳힙니다.

AI 도입 로드맵이 PoC에서 멈추는 이유는 무엇인가요?

기간과 관문 없이 PoC를 시작해 기능 추가 요청이 끝없이 붙거나, 데이터·보안 공백을 PoC 도중에 발견하기 때문입니다. 준비도 점검에서 치명적 공백을 먼저 해소하고, PoC를 4~6주로 고정해 사전에 정한 품질 하한으로 판정하면 막을 수 있습니다.

MSAP.ai

• AI(인공지능)란 무엇인가 — 뜻·원리·종류부터 기업 도입까지
• AX(AI 전환)란 무엇인가 — 정의부터 추진 4단계까지
• AX 추진 전략과 로드맵 — 진단부터 전사 확산까지
• AI Agent 도입 로드맵 — 사전 준비부터 단계별 적용·비용 변화까지
• 무료 AI Discovery Workshop — 우리 회사에 맞는 AI 도입 로드맵 찾기
• 기업 맞춤형 AI 도입 전략 — 무상 AI 컨설팅
• 국내 기업 AI 도입 사례 — 성과를 낸 기업은 무엇이 달랐나
• AI 도입이 실패하는 이유와 피하는 법
• AI Native Platform 가이드와 AI Agent 체크리스트
• 공공기관 AI, 왜 온프레미스여야 하는가
• 2025 공공 AI 도입 가이드라인 — 담당자가 꼭 챙겨야 할 핵심

openmaru.io · cncf.co.kr

• AI Native News — AI 도입했는데 왜 업무가 안 바뀔까?
• AI Native News — 대기업은 AI 에이전트 플랫폼을 어떻게 구축하고 있을까?
• AI 도입이 막막한 기업을 위한 찾아가는 AI 네이티브 세미나

외부 자료

• Gartner — 생성형 AI 프로젝트 30% PoC 이후 중단 전망(2024)
• Gartner — AI 준비 데이터 부족과 프로젝트 위험(2025)
• Gartner — 에이전트형 AI 프로젝트 40% 이상 취소 전망(2025)
• McKinsey — The state of AI
• NIST — AI Risk Management Framework
• 정책브리핑 — 인공지능 기본법 시행
• 금융위원회 — 금융분야 망분리 개선 로드맵