AX 추진 전략과 로드맵 — 진단부터 전사 확산까지 단계별 가이드

AX를 검색해 개념을 잡은 IT 담당자의 다음 질문은 하나로 모입니다 — “그래서 무엇부터 시작해야 하나.” 이 글은 그 질문에 단계별로 답합니다. 현황 진단, 전략 수립, 파일럿, 전사 확산의 4단계마다 해야 할 일과 산출물, 그리고 다음 단계로 넘어가는 의사결정 포인트를 정리했으므로, 그대로 추진 계획서의 목차로 옮길 수 있습니다. AX(AI 전환) 개념 자체가 처음이라면 필러 글 [A…

2026년 08월 03일

AX 전략은 어디서 출발하나 — 목표와 유스케이스 매핑

AX 전략의 출발점은 기술 선택이 아니라 비즈니스 목표와 AI 유스케이스의 매핑입니다. Gartner는 AI 전략의 핵심 구성 요소로 비전, 가치 실현, 위험 관리, 도입 계획 네 가지를 제시하면서, “AI로 무엇을 할 수 있나”가 아니라 “사업 목표에 AI가 어떻게 기여하나”에서 출발하라고 권고합니다(Gartner, AI Strategy for Business).

실무에서는 이렇게 진행합니다. 먼저 향후 1~2년의 사업 목표 — 비용 절감, 고객 응대 품질, 출시 속도, 준법 대응 — 를 나열합니다. 다음으로 각 목표에 기여할 수 있는 AI 적용 후보 업무를 부서별로 수집합니다. 후보 수집 단계에서는 현업 부서의 언어로 접수하는 것이 요령입니다. “RAG를 적용하고 싶다”가 아니라 “민원 답변 작성에 매번 규정집을 뒤지는 시간이 아깝다” 같은 불편 서술이 좋은 유스케이스의 원석입니다. 마지막으로 “목표 기여도”를 축으로 후보를 정렬합니다. 이 매핑이 있어야 뒤따르는 모든 단계의 판단 기준이 생기고, “유행하는 기술이니 도입한다”는 함정을 피할 수 있습니다.

이 출발점이 중요한 이유는 실패 통계가 보여 줍니다. Gartner는 데이터 품질 미흡, 위험 통제 부재, 비용 상승, 불명확한 사업 가치를 이유로 2025년 말까지 생성형 AI 프로젝트의 30%가 개념검증(PoC) 이후 중단될 것으로 전망했습니다(Gartner, 2024). 네 가지 중단 사유 가운데 “불명확한 사업 가치”는 프로젝트 후반이 아니라 이 출발점에서 결정됩니다.

그림 1. AX 전략의 출발점 — 사업 목표와 AI 유스케이스 매핑

1단계 현황 진단 — 무엇을 어떻게 진단하나

1단계 진단의 목적은 데이터·인프라·역량 3개 영역의 현재 수준을 측정해 착수 가능 지점과 공백을 가리는 것입니다. 진단 없이 세운 전략은 희망 사항이 되기 쉽습니다.

데이터 영역에서는 우선순위 후보 업무의 데이터가 어디에 어떤 형태로 있는지, 품질과 접근 권한은 어떤 상태인지를 확인합니다. 점검 항목은 데이터 소재(시스템/개인 폴더/종이), 정형화 수준, 최신성, 권한 체계, 민감 정보 포함 여부입니다. 인프라 영역에서는 GPU 등 컴퓨팅 자원, 온프레미스·클라우드 배치 제약, 보안 요건, 기존 시스템과의 연계 가능성을 확인합니다. 데이터를 외부로 내보낼 수 없는 조직이라면 이 단계에서 자체 운영 가능한 모델과 인프라 요건을 미리 파악해야 합니다. 역량 영역에서는 AI를 다룰 인력의 분포(전담/현업/외부), 기존 프로젝트 경험, 그리고 현업 부서의 수용도를 확인합니다.

1단계의 산출물은 세 가지입니다. 영역별 진단 점수표, 유스케이스 후보 목록(데이터 준비 상태 표기 포함), 그리고 공백을 메우는 데 필요한 선행 과제 목록입니다. 진단 항목을 표준화된 틀로 반복 측정하는 방법은 「AX 성숙도 진단 — 우리 회사의 AI 전환 수준을 측정하는 법」에서 이어서 다룹니다(이 클러스터의 후속 글로 준비 중).

진단을 자체 인력만으로 끌고 가기 부담스럽다면 외부 진단 도구를 쓰는 방법도 있습니다. MSAP.ai의 MSA 전환, IT 현황 진단 서비스는 서비스 아키텍처·설계부터 운영 방식까지를 설문 형태로 점검해 현재 구조를 눈금 있는 값으로 바꿔 주고, 클라우드 네이티브 전환 진단 컨설팅은 전환 전에 확인할 항목을 사전 진단 체크리스트로 제공합니다. 데이터·인프라 현황을 실제 유스케이스에 붙여 봐야 감이 잡히는 단계라면 무료 AI Discovery Workshop이 선택지입니다. 사전 인터뷰로 비즈니스 목표·IT 현황·데이터 환경을 먼저 확인한 뒤 하루 만에 아키텍처 설계부터 데모까지 진행하므로, 1단계 산출물의 상당 부분을 짧은 기간에 확보할 수 있습니다. 역량 축의 눈금을 무엇으로 삼을지 애매하다면, GPU 보유량이 아니라 AI가 실제로 호출해 실행할 수 있는 업무 기능(MCP)의 수를 성숙도 지표로 제시한 GPU 수가 아닌 MCP 수 — 기업 AI 성숙도의 새로운 기준 백서가 참고가 됩니다.

그림 2. 1단계 현황 진단 — 데이터·인프라·역량 3축과 산출물 3종

2단계 전략 수립 — 우선순위는 무엇으로 정하나

2단계의 핵심은 효과와 실현 가능성 두 축의 매트릭스로 유스케이스 우선순위를 확정하는 것입니다. 효과 축은 1단계에서 매핑한 사업 목표 기여도(비용·품질·속도의 정량 추정)로, 실현 가능성 축은 데이터 준비 상태·기술 난도·현업 수용도로 측정합니다.

매트릭스를 그리면 네 사분면이 나옵니다. 효과와 실현 가능성이 모두 높은 유스케이스가 1순위 파일럿 후보입니다. 효과는 크지만 실현 가능성이 낮은 유스케이스는 데이터 정비 같은 선행 과제와 함께 중기 과제로 배치합니다. 효과가 작고 실현만 쉬운 유스케이스는 학습용 소규모 실험으로만 다루고, 둘 다 낮은 유스케이스는 목록에서 제외합니다.

이 단계에서 흔한 유혹이 “가능한 한 많이 벌이는 것”입니다. McKinsey는 생성형 AI 확산기를 지나며 얻은 교훈으로, 소규모 파일럿을 수십 개 벌이는 대신 가치가 큰 소수 유스케이스에 자원을 집중하라고 정리했습니다(McKinsey, Seven Hard Truths for CEOs, 2024). 파일럿의 수가 아니라 확산에 도달한 유스케이스의 수가 성과이기 때문입니다.

2단계의 산출물은 우선순위가 확정된 유스케이스 포트폴리오, 유스케이스별 기대 효과와 성과 지표(KPI) 정의, 투자 규모와 일정, 그리고 위험 관리 계획입니다. 성과 지표는 이 단계에서 미리 정의해야 합니다. 파일럿이 끝난 뒤에 지표를 만들면 측정 기준선(적용 전 수치)이 없어 효과를 증명할 수 없습니다. 지표 정의는 구체적일수록 좋습니다. 예를 들어 사내 문서 검색 유스케이스라면 “직원 1인당 자료 탐색 시간(주간)”, 계약 검토 유스케이스라면 “건당 검토 시간과 위험 조항 누락률”처럼, 적용 전에도 측정할 수 있고 적용 후에 비교할 수 있는 지표여야 합니다. 지표 설계와 측정 방법은 「AX ROI 측정 — AI 전환 투자 효과를 숫자로 증명하는 법」에서 심화합니다(이 클러스터의 후속 글로 준비 중). 적용 분야를 먼저 좁혀야 ROI 산출이 쉬워진다는 점은 AI 에이전트(AI Agent)란? Agentic AI 개념부터 기업 도입까지에서도 도입 전 준비사항의 첫 항목으로 꼽는 대목입니다.

그림 3. 2단계 전략 수립 — 효과 × 실현 가능성 우선순위 매트릭스

3단계 파일럿 — 성공 조건과 Go/No-Go 판정

3단계 파일럿의 목적은 “되는지 보는 것”이 아니라 “확산해도 되는지 판정하는 것”입니다. 이 관점 전환이 파일럿 설계 전체를 바꿉니다. 파일럿 자체는 대체로 성공하는데 그 다음이 없는 조직이 그만큼 많기 때문입니다. MSAP.ai가 정리한 AI 에이전트 플랫폼 도입 가이드 — AI Native Platform 체크리스트도 AI 파일럿의 86%가 확산으로 넘어가지 못하고 정체한다는 문제의식에서 출발합니다.

성공 조건은 시작 전에 숫자로 확정합니다. 예를 들어 고객 문의 1차 분류 유스케이스라면 “분류 정확도 90% 이상, 사람 개입률 30% 이하, 건당 처리 비용 기존 대비 40% 절감”처럼 목표를 못 박습니다. 기간과 범위는 측정에 필요한 최소로 잡되, 실사용자와 실데이터를 반드시 포함합니다. 통제된 시연 환경의 성능은 확산 판정의 근거가 되지 못합니다.

범위 설정에는 두 가지 실무 기준이 유효합니다. 첫째, 사용자 표본은 우호적인 부서 한 곳이 아니라 업무 특성이 다른 부서 두 곳 이상으로 잡습니다. 한 부서에서만 검증한 파일럿은 확산 단계에서 “우리 부서는 사정이 다르다”는 반론을 만나 멈추기 쉽습니다. 둘째, 데이터 범위에는 품질이 좋은 표본만이 아니라 실제 운영에서 만날 저품질 데이터 — 오래된 문서, 형식이 제각각인 자료 — 를 의도적으로 포함합니다. 파일럿의 목적은 최고 성능의 확인이 아니라 실전 조건에서의 판정이기 때문입니다.

파일럿 기간에 측정할 것은 품질 지표만이 아닙니다. 요청량이 늘었을 때의 응답 지연과 인프라 비용 증가율, 운영에 투입된 사람의 시간, 현업의 실제 사용률까지 측정해야 확산 시의 총비용을 추정할 수 있습니다. Gartner가 꼽은 중단 사유 네 가지 — 데이터 품질, 위험 통제, 비용, 사업 가치(Gartner, 2024) — 를 파일럿 검증 항목으로 그대로 옮기는 것이 안전한 설계입니다.

판정은 Go/No-Go/조건부의 셋으로 내립니다. 목표를 달성했으면 확산(Go), 구조적 한계가 확인됐으면 종료(No-Go), 특정 조건 — 데이터 보강, 모델 교체, 프로세스 수정 — 을 채우면 재도전할 수 있으면 조건부 보류입니다. 여기서 중요한 것은 No-Go를 실패가 아니라 정상 산출물로 취급하는 문화입니다. 30%가 중단되는 통계(Gartner, 2024)는 부실한 판정 없이 확산으로 밀어붙인 프로젝트의 말로이기도 합니다.

그림 4. 3단계 파일럿 — 확산 판정을 위한 설계와 Go/No-Go

4단계 전사 확산 — 플랫폼화·표준화·거버넌스

4단계의 과제는 성공한 유스케이스를 복제 가능한 체계로 바꾸는 것입니다. 파일럿 한 건의 성공과 전사 확산 사이에는 규모의 벽이 있으며, 이 벽은 세 가지로 넘습니다.

플랫폼화는 유스케이스마다 모델 연동·검색·권한·모니터링을 새로 짓는 대신 공통 기반 위에 올리는 것입니다. 두 번째 유스케이스부터는 공통 기능을 재사용해 구축 기간과 비용을 줄이고, 운영·보안 기준을 한곳에서 관리합니다. 공통 기반에 무엇을 올려야 하는지는 이미 어느 정도 표준화돼 있습니다. 앞의 AI Native Platform 체크리스트는 Kubernetes 위에 관측성, LLM 서빙·임베딩·벡터 DB, 에이전트 빌더·워크플로·MCP·게이트웨이, 지식·문서·대화 UI·거버넌스를 얹은 13개 컴포넌트를 표준 구성으로 제시하고, 생성형 AI 추론 운영의 66%가 이미 Kubernetes 위에서 이뤄진다는 점을 근거로 듭니다. 이 공통 기반이 없으면 LLM 서빙·벡터 DB·거버넌스가 시스템마다 따로 발주돼 같은 기능을 여러 번 사게 되고, 모델을 한 번 교체할 때 재계약도 시스템 수만큼 늘어납니다. 제품 계층에서 어떤 기능이 공통 기반에 해당하는지는 MSAP.ai AI Framework와 LLM 페이지에서 확인할 수 있습니다. 데이터를 외부로 내보낼 수 없는 조직이라면 플랫폼의 배치 형태 — 온프레미스 기반의 모델 운영과 추론 인프라 — 를 이 단계가 아니라 1단계 진단에서부터 요건으로 확정해 두어야 하며, 그래야 파일럿에서 검증한 구성이 확산 단계에서 그대로 재사용됩니다. BCG가 AI 성과의 70%는 사람과 프로세스, 20%는 기술과 데이터 기반에서 나온다고 분석한 것(BCG, Artificial Intelligence)도 같은 방향을 가리킵니다. 개별 프로젝트의 반짝임이 아니라 반복 가능한 기반이 성과를 만듭니다.

표준화는 유스케이스 발굴부터 파일럿 판정까지의 절차를 템플릿으로 만드는 것입니다. 1~3단계에서 만든 진단표·우선순위 매트릭스·Go/No-Go 기준을 표준 양식으로 정리하면, 두 번째 유스케이스부터는 전략 수립 기간이 크게 줄어듭니다.

거버넌스 체계 구축은 접근 통제·데이터 경계·판단 근거 추적·품질 통제를 문서가 아닌 운영 체계로 정착시키는 것입니다. 확산 단계에서는 AI를 쓰는 부서가 늘어나므로, 부서별 자율에 맡기면 통제 수준이 제각각이 됩니다. 국내에서는 AI 기본법이 2026년 1월 시행에 들어간 만큼, 거버넌스는 확산의 전제 조건으로 다뤄야 합니다. 거버넌스를 문서가 아니라 아키텍처의 한 계층으로 배치하는 방법은 엔터프라이즈 AI란 무엇인가 — 아직도 Prompt? 이제는 AI 에이전트(AI Agent) 시대에서 다룹니다.

확산 단계는 조직 구조의 문제이기도 합니다. 전담 조직을 둘 것인지, 현업 분산형으로 갈 것인지, CAIO(최고 AI 책임자) 같은 리더십을 세울 것인지는 「AX 조직과 인재 — CAIO부터 AI 전담 조직 설계까지」에서 상세히 다룹니다(이 클러스터의 후속 글로 준비 중).

그림 5. 4단계 전사 확산 — 성공을 복제 가능하게 만드는 세 기둥

단계별 산출물과 의사결정 포인트 한눈에 보기

4단계의 산출물과 판정 기준을 한 표로 모으면 추진 계획서의 골격이 됩니다. 각 단계의 산출물이 다음 단계의 입력이 된다는 점을 표에서 확인하시기 바랍니다.

단계	핵심 질문	주요 산출물	다음 단계로 넘어가는 조건
1. 현황 진단	우리는 지금 어디에 있는가	데이터·인프라·역량 진단 점수표, 유스케이스 후보 목록, 선행 과제 목록	착수 가능한 유스케이스 후보가 1개 이상 확인됨
2. 전략 수립	무엇부터 할 것인가	우선순위 포트폴리오, 유스케이스별 KPI·기준선, 투자 계획, 위험 관리 계획	경영층이 1순위 유스케이스와 예산을 승인함
3. 파일럿	실제로 확산해도 되는가	실측 성능·비용 보고서, Go/No-Go 판정 기록	사전 확정한 숫자 목표를 달성함(Go)
4. 전사 확산	어떻게 반복 가능하게 만들 것인가	공통 플랫폼, 추진 절차 템플릿, 거버넌스 운영 체계	— (지속 운영 단계)

이 표에서 계획서 작성 시 가장 자주 빠지는 칸이 “다음 단계로 넘어가는 조건”입니다. 조건 없이 일정만 있는 로드맵은 파일럿이 어떤 결과를 내든 다음 단계로 흘러가는 구조가 되고, 그것이 곧 실패 비용의 원천이 됩니다. 단계 사이의 관문을 명시하는 것만으로 로드맵의 품질이 달라집니다.

그림 6. AX 추진 4단계 — 산출물은 다음 단계의 입력, 사이마다 관문

추진 체계 — 누가 무엇을 맡나

로드맵이 굴러가려면 단계마다 책임 주체를 정해야 하며, 최소 네 주체의 역할 분담이 필요합니다.

경영층은 방향과 자원의 책임자입니다. 1단계에서 사업 목표를 확정해 주고, 2단계에서 우선순위와 예산을 승인하며, 3단계의 Go/No-Go 판정에 참여합니다. 경영층의 역할이 “최초 승인 한 번”으로 끝나는 조직에서는 파일럿 이후의 확산 동력이 사라집니다.

IT 부서는 실행의 중심축입니다. 데이터 소재와 품질을 가장 잘 아는 위치에서 진단을 주도하고, 인프라 요건을 설계하며, 자동 처리율·정확도 같은 지표의 측정 체계를 구축합니다. 파일럿에서는 모델 연동과 운영을, 확산 단계에서는 플랫폼화를 맡습니다.

현업 부서는 유스케이스의 주인입니다. 업무의 판단 기준과 예외 상황을 아는 것은 현업뿐이므로, 유스케이스 발굴과 파일럿의 품질 평가는 현업이 참여해야 성립합니다. 파일럿 기간의 실제 사용률은 현업의 참여도를 보여 주는 정직한 지표입니다.

보안·법무는 경계의 설계자입니다. AI가 참조할 수 있는 데이터의 범위, 외부 서비스 사용 가능 여부, 출력물의 책임 소재를 초기에 정해 두면 파일럿 후반의 “이건 보안 검토가 안 됐는데요”라는 급정거를 예방할 수 있습니다. AI 기본법 시행 이후에는 이 역할의 비중이 더 커졌습니다.

네 주체를 잇는 상설 협의체 — 명칭이 무엇이든 — 를 두는 것이 실무 요령입니다. 안건이 있을 때만 모이는 회의체는 단계 전환의 관문 역할을 하지 못합니다.

로드맵 수립에서 흔한 세 가지 함정

로드맵을 좌초시키는 함정은 기술 우선 접근, 빅뱅식 도입, 성과 지표 부재 세 가지가 대표적입니다.

기술 우선 접근은 “이 모델을 도입하자”에서 출발하는 계획입니다. 사업 목표와의 연결 없이 기술이 먼저 정해지면, 파일럿이 끝나도 성과를 설명할 언어가 없습니다. 해법은 앞서 본 목표-유스케이스 매핑을 로드맵의 첫 장에 두는 것입니다.

빅뱅식 도입은 전사 일괄 적용을 한 번에 시도하는 계획입니다. 데이터 성숙도가 업무마다 다른 상태에서 일괄 도입은 준비 안 된 업무의 실패가 전체의 신뢰를 무너뜨리는 결과로 이어집니다. 준비된 업무부터 단계적으로 확산하고, 우리 회사가 어느 단계인지 헷갈린다면 AX vs DX — 디지털 전환과 AI 전환, 무엇이 다른가의 단계 판별 체크리스트부터 적용해 보시기 바랍니다.

성과 지표 부재는 측정 계획 없이 도입부터 하는 계획입니다. 기준선 없이 시작하면 효과를 증명할 수 없고, 증명하지 못한 프로젝트는 다음 투자 승인을 받지 못합니다. 유스케이스별 지표와 기준선 측정을 2단계 산출물에 반드시 포함해야 합니다.

세 함정에는 공통 처방이 있습니다. 단계 사이의 관문(의사결정 포인트)을 문서로 명시하고, 관문을 통과하지 못한 프로젝트를 멈추는 것을 실패가 아니라 체계의 정상 작동으로 간주하는 문화입니다. 기술 우선 접근은 1단계 관문(목표-유스케이스 매핑 승인)에서, 빅뱅식 도입은 2단계 관문(우선순위 포트폴리오 승인)에서, 지표 부재는 3단계 관문(Go/No-Go 판정)에서 각각 걸러집니다. 관문이 살아 있는 로드맵은 함정을 만나도 좌초하지 않고 경로를 수정합니다.

4단계 로드맵의 요체는 결국 하나입니다. 각 단계의 산출물이 다음 단계의 입력이 되고, 단계 사이마다 명시적인 의사결정 포인트가 있는 것 — 도구 목록이 아니라 의사결정의 연속으로 로드맵을 설계하는 것입니다. 그 구조를 갖춘 추진 계획서라면 경영층 앞에서 기술 소개가 아니라 투자 안건으로 논의될 수 있습니다.