
TL;DR AI 도입 비용은 구독형과 구축형으로 나눠 3년 TCO로 비교해야 합니다. 공식 단가와 가정 계산으로 손익분기 기준을 정리했습니다.
2026년 국내 기업과 공공기관 담당자가 AI 예산을 세우기 위해, 구독형과 구축형의 AI 도입 비용을 공식 가격표와 가정 기반 계산으로 비교하는 방법을 정리했습니다.
“그래서 AI 도입 비용이 얼마나 드나요?” 경영진 보고에서 가장 먼저 나오는 질문이지만, 한 줄로 답하기 어렵습니다. 같은 생성형 AI라도 직원마다 좌석을 사는 구독형, 쓴 만큼 토큰 요금을 내는 API형, GPU 서버를 직접 사서 사내에 두는 구축형은 돈이 나가는 시점과 항목이 전혀 다르기 때문입니다. 이 글은 세 방식의 AI 도입 비용을 같은 틀로 나누고, 2026년 10월 28일 기준 공식 가격표에서 확인한 단가와 가정임을 밝힌 계산으로 300명 조직의 3년 TCO를 비교합니다. 공개 정가가 없는 하드웨어 가격처럼 확인할 수 없는 값은 사실처럼 쓰지 않고 가정값으로 표시했으니, 여러분 조직의 견적으로 바꿔 넣어 계산하시면 됩니다. AI의 기본 개념은 AI란 무엇인가에서, 과제를 단계별로 굴리는 순서는 AI 도입 로드맵 6단계에서 먼저 보셔도 좋습니다.
이 글이 답하는 아홉 가지 질문 목록
“AI 도입 비용”, “AI 비용 비교”, “AI 비용 절감”을 검색하는 분들이 실제로 묻는 내용을 기준으로 순서를 잡았습니다.
- AI 도입 비용은 어떤 항목으로 나뉘나요?
- ChatGPT·Copilot 같은 구독형 서비스는 한 사람에 얼마인가요?
- API 토큰 요금은 어떻게 계산하고, 사용량은 어떻게 추정하나요?
- GPU 서버를 직접 사면 하드웨어 말고 무엇이 더 드나요?
- 클라우드 GPU를 빌리는 것은 어느 정도 비용인가요?
- 300명 조직이라면 3년 동안 방식별로 얼마가 차이 나나요?
- 구독형과 구축형의 손익분기점은 어디서 갈리나요?
- 토큰 단가는 계속 내려가는데 왜 청구서는 늘어나나요?
- AI 도입 비용을 줄이는 방법과 정부 지원에는 무엇이 있나요?
AI 도입 비용은 어떤 항목으로 나뉘나?
AI 도입 비용을 이야기할 때 가장 흔한 실수는 모델 사용료만 비용으로 보는 것입니다. 실제 AI 도입 비용 예산서에는 그보다 훨씬 많은 줄이 들어갑니다. 항목을 먼저 나눠 두어야 구독형과 구축형을 공정하게 비교할 수 있습니다.
첫째는 모델 사용료입니다. 구독형이라면 좌석 요금이나 토큰 요금이고, 구축형이라면 GPU 서버 구입비나 임대료가 여기에 해당합니다. 둘째는 인프라 운영비입니다. 구축형은 전력, 냉각, 데이터센터 상면, 하드웨어 유지보수가 매달 나가고, 구독형도 사내 데이터를 연결하는 검색 서버나 벡터 데이터베이스 같은 주변 인프라는 따로 필요합니다.
셋째는 구축·연동비입니다. 사내 인증과 권한 체계를 붙이고, 문서 저장소와 업무 시스템을 연결하고, 화면을 만드는 일입니다. 넷째는 인력비입니다. 모델 서빙을 운영하는 엔지니어, 답변 품질을 평가하는 담당자, 사용자 교육과 변화 관리를 맡는 인력이 필요합니다. 다섯째는 숨은 비용입니다. 데이터 정비, 보안성 검토, 감사 대응, 모델을 바꿀 때 드는 재작업 비용처럼 AI 도입 비용 가운데 견적서에 잘 보이지 않는 항목입니다.
| 비용 항목 | 구독형(SaaS·API) | 구축형(온프레미스·sLLM) | 돈이 나가는 시점 |
|---|---|---|---|
| 모델 사용료 | 좌석 요금 또는 토큰 요금 | GPU 서버 구입비 또는 임대료 | 구독형은 매월, 구축형은 초기 일시 |
| 인프라 운영비 | 검색·벡터 DB 등 주변 인프라 | 전력·냉각·상면·유지보수 | 매월 |
| 구축·연동비 | 인증·권한·문서 연결·화면 | 같음 + 모델 서빙 환경 구성 | 초기 일시 |
| 인력비 | 관리자·품질 평가 담당 | 같음 + 서빙 운영 엔지니어 | 매월 |
| 숨은 비용 | 데이터 반출 검토·벤더 전환비 | 데이터 정비·용량 과잉·교체 주기 | 불규칙 |
이 표에서 눈여겨볼 점은 아래 세 줄은 어느 방식을 골라도 사라지지 않는다는 것입니다. 구독형을 고르면 하드웨어 걱정이 없으니 AI 도입 비용이 모델 사용료만으로 끝날 것 같지만, 구축·연동비와 인력비, 숨은 비용은 그대로 남습니다. 그래서 방식 비교는 항상 3년 TCO(총소유비용) 로 해야 합니다. TCO는 초기 비용과 운영 비용, 인력을 모두 더한 기간 누적 총비용입니다.
아래 그림은 AI 투자 효과를 계산할 때 비용 쪽에 넣어야 할 항목을 정리한 슬라이드입니다. 개발비만 넣고 토큰 비용과 운영·평가 인력, 교육과 변화 관리를 빼면 운영 단계에서 수지가 맞지 않는다는 점을 한눈에 보여 줍니다.
그림. AI 도입 비용에 넣어야 할 네 가지 비용 항목과 효과 측정 지표
구독형과 구축형, 비용 구조의 차이
두 방식의 차이를 한 문장으로 줄이면 구독형은 쓸수록 늘어나는 변동비, 구축형은 먼저 내고 나눠 쓰는 고정비입니다. 이 차이가 AI 도입 비용의 그래프 모양을 완전히 바꿉니다.
구독형의 비용 곡선은 원점에서 출발해 사용자 수나 사용량에 비례해 올라갑니다. 첫 달 AI 도입 비용이 작아서 시작하기 쉽고, 효과가 없으면 해지하면 됩니다. 대신 사용량이 늘면 비용도 끝없이 늘고, 단가 결정권은 공급사에 있습니다. 반대로 구축형은 첫날 큰 금액이 나가고, 그 뒤로는 전력과 인력 같은 운영비가 비교적 평평하게 이어집니다. 사용량이 늘어도 서버 용량 안에서는 추가 비용이 거의 늘지 않습니다. 그래서 사용량이 많을수록 사용 한 건당 비용이 내려갑니다.
두 곡선이 만나는 지점이 손익분기점입니다. 사용량이 그 지점보다 적으면 구독형이 싸고, 많으면 구축형이 쌉니다. 문제는 그 지점이 조직마다 다르다는 데 있습니다. 직원 수, 하루 질문 수, 질문 하나에 붙는 문서 길이, 어떤 모델을 쓰는지, 규제 때문에 데이터를 밖으로 보낼 수 있는지에 따라 달라집니다. 이 글의 나머지 절은 이 변수들을 하나씩 숫자로 바꾸는 과정입니다.
| 구분 | 구독형 SaaS 좌석 | 구독형 API 토큰 | 구축형 온프레미스 |
|---|---|---|---|
| 과금 기준 | 사용자 1명당 월 정액 | 입력·출력 토큰 100만 개당 단가 | 하드웨어 구입 + 운영비 |
| 초기 비용 | 거의 없음 | 앱·연동 구축비 | 서버·구축비 모두 큼 |
| 비용 증가 요인 | 사용자 수 | 사용량·문서 길이·모델 등급 | 용량 증설 시점 |
| 데이터 위치 | 공급사 클라우드 | 공급사 클라우드 | 조직 내부 |
| 적합한 상황 | 범용 업무 도구가 필요할 때 | 업무 시스템에 AI를 붙일 때 | 사용량이 많거나 규제가 있을 때 |
표의 세 열은 서로 배타적이지 않습니다. 실제 조직은 사무 업무는 좌석 구독, 업무 시스템 연동은 API, 민감 데이터 업무는 구축형처럼 섞어 씁니다. 그래서 AI 도입 비용 계획도 방식 하나를 고르는 일이 아니라, 업무별로 어느 방식을 배정할지 정하는 일에 가깝습니다.
구독형 SaaS 좌석 요금은 사람당 얼마인가?
가장 많이 쓰는 구독형 서비스의 공개 요금부터 보겠습니다. 구독형 AI 도입 비용의 출발점이 되는 값입니다. 아래 값은 각 공급사 공식 가격 페이지에서 2026년 10월 28일에 확인한 것이며, 연간 결제 기준 월 요금입니다. 요금과 할인 조건은 자주 바뀌니 계약 직전에 다시 확인하셔야 합니다.
| 서비스 | 공개 요금(사용자 1명·월) | 조건 | 출처 |
|---|---|---|---|
| ChatGPT Business 스탠다드 | 28,900원(연간 결제) / 36,100원(월 결제) | 직원 2~200명 | ChatGPT 요금제 |
| Microsoft 365 Copilot(엔터프라이즈 추가 기능) | 30달러(연간 결제) | 별도 Microsoft 365 라이선스 필요, 한국 페이지 월 40,500원(연간 결제, 부가세 별도) | Microsoft 365 Copilot 엔터프라이즈 요금 |
| Claude Team 스탠다드 | 20달러(연간 결제) / 25달러(월 결제) | 2~150석 | Claude 요금제 |
| Google Workspace Business Standard | 14달러(1년 약정, Gemini 포함) | 이메일·문서·회의 도구 포함 요금, 한국어 페이지도 달러 표기 | Google Workspace 요금제 |
좌석 요금은 계산이 쉽다는 것이 최대 장점입니다. 직원 수에 월 요금과 12개월을 곱하면 연간 AI 도입 비용이 바로 나옵니다. 예를 들어 300명이 ChatGPT Business 스탠다드를 연간 결제로 쓰면 월 867만 원, 연 1억 404만 원, 3년이면 약 3억 1,212만 원입니다. 같은 인원이 Microsoft 365 Copilot을 쓰면 한국 공식 페이지의 원화 가격(월 40,500원, 부가세 별도) 기준으로 월 1,215만 원, 3년 약 4억 3,740만 원이고, 이 금액은 기존 Microsoft 365 라이선스 위에 더해지는 값입니다.
좌석 요금으로 AI 도입 비용을 잡을 때 확인할 점은 세 가지입니다. 첫째, 인원 상한입니다. ChatGPT Business는 공개 요금 페이지에 2~200명, Claude Team은 2~150석으로 적혀 있어, 그보다 큰 조직은 엔터프라이즈 요금제를 따로 협의해야 하고 그 가격은 공개되지 않습니다. 둘째, 실제 사용률입니다. 전 직원에게 좌석을 나눠 줘도 매일 쓰는 사람은 일부인 경우가 많습니다. 사용하지 않는 좌석도 요금은 그대로 나가므로, 파일럿에서 활성 사용자 비율을 먼저 재야 합니다. 셋째, 데이터 위치와 약관입니다. 사내 문서를 올려도 되는지, 학습에 쓰이지 않는지, 데이터가 어느 국가에 저장되는지는 요금보다 먼저 확인할 항목입니다.
좌석 구독은 범용 문서 작업을 빠르게 시작하는 데 AI 도입 비용이 가장 적게 드는 길입니다. 하지만 업무 시스템과 자동으로 연결하거나, 사내 데이터베이스를 직접 조회하게 하려면 좌석만으로는 부족합니다. 그때 필요한 것이 API입니다.
API 토큰 요금은 어떻게 계산하나?
API는 모델을 업무 시스템에 직접 붙일 때 쓰는 방식이며, API형 AI 도입 비용은 사용량에 따라 움직입니다. 요금은 사람 수가 아니라 처리한 글자 양, 곧 토큰 수로 매깁니다. 토큰은 모델이 글을 처리하는 단위로, 한국어는 대략 한 글자에서 한 단어 사이의 조각으로 나뉩니다. 공급사는 모델에 넣는 입력 토큰과 모델이 만들어 내는 출력 토큰의 단가를 따로 정하고, 보통 출력 단가가 입력 단가의 4~5배입니다.
아래는 주요 공급사 공식 가격 페이지에서 2026년 10월 28일에 확인한 토큰 단가입니다. 등급을 비교하기 쉽도록 상위·중간·경량 모델로 묶었습니다.
| 공급사 | 모델(가격표 표기) | 입력 100만 토큰 | 출력 100만 토큰 | 출처 |
|---|---|---|---|---|
| OpenAI | gpt-6-astra(상위) | 10달러 | 50달러 | OpenAI API 가격 |
| OpenAI | gpt-6.1-sol(중간) | 2달러 | 10달러 | 같은 페이지 |
| OpenAI | gpt-6-luna(경량) | 0.10달러 | 0.50달러 | 같은 페이지 |
| Anthropic | Sonnet 5.5(중간) | 2달러 | 10달러 | Claude 요금제 |
| Anthropic | Haiku 5.5(경량) | 0.10달러 | 0.50달러 | 같은 페이지 |
| Gemini 3.1 Pro Preview | 2달러 | 12달러 | Gemini API 가격 |
표를 보면 같은 공급사 안에서도 상위 모델과 경량 모델의 단가 차이가 100배입니다. 그래서 API형 AI 도입 비용은 어떤 모델을 쓰느냐에 따라 같은 사용량에서도 자릿수가 달라집니다. 대부분의 업무는 상위 모델이 필요하지 않으며, 질문 분류나 요약처럼 단순한 일은 경량 모델로 충분한 경우가 많습니다.
공급사들은 비용을 낮추는 할인 장치도 둡니다. OpenAI 가격 페이지는 응답을 즉시 받지 않아도 되는 일괄 처리(Batch) 단가를 표준 단가의 절반으로 적고 있고(Anthropic도 일괄 처리 50% 절감을 안내합니다), 여러 공급사가 반복되는 프롬프트 앞부분을 저장해 두는 캐시 입력에 낮은 단가를 매깁니다. 실시간이 아니어도 되는 업무를 일괄 처리로 돌리기만 해도 해당 업무의 토큰 비용이 절반이 됩니다.
API형 AI 도입 비용의 함정은 단가가 아니라 사용량을 미리 알기 어렵다는 점입니다. 같은 질문이라도 사내 문서를 몇 쪽 붙여 넣느냐, 대화를 몇 번 주고받느냐에 따라 토큰 수가 열 배씩 달라집니다. 그래서 API를 고를 때는 단가표보다 사용량 추정이 먼저입니다.
재무 부서에 물어볼 질문도 하나 만들어 두면 좋습니다. 이미 외부 API를 쓰고 있다면 매달 청구서에서 출력 토큰이 차지하는 비중이 얼마인가를 확인해 보시기 바랍니다. 총액은 관리하면서 입력과 출력을 나눈 내역까지 보는 조직은 드뭅니다. 출력 단가가 입력의 몇 배인 구조에서는 이 비중을 모르면 AI 도입 비용 비교가 가정 위에 서게 됩니다.
토큰 사용량을 추정하는 방법
사용량 추정은 어렵지 않습니다. API형 AI 도입 비용은 네 가지 숫자만 정하면 계산됩니다. 사용자 수, 1인당 하루 요청 수, 요청 하나의 입력 토큰, 요청 하나의 출력 토큰입니다. 여기에 한 달 업무일 수를 곱하면 월 토큰량이 나옵니다.
이 글에서는 계산을 보여 주기 위해 다음과 같이 가정합니다. 이 값은 조사 결과가 아니라 예시용 가정값이니, 실제로는 파일럿에서 잰 값으로 바꿔야 합니다.
| 변수 | 가정값 | 근거 |
|---|---|---|
| 사용자 수 | 300명 | 가정(중견 조직 사무직 규모) |
| 1인당 하루 요청 | 20건 | 가정 |
| 한 달 업무일 | 22일 | 가정 |
| 요청당 입력 토큰 | 3,000개 | 가정(질문 + 검색한 사내 문서 일부) |
| 요청당 출력 토큰 | 500개 | 가정(답변 한두 단락) |
| 환율 | 1달러 = 1,400원 | 가정 |
이 가정으로 계산하면 한 달 요청은 300명 × 20건 × 22일 = 13만 2,000건입니다. 입력 토큰은 13만 2,000건 × 3,000개 = 3억 9,600만 개, 출력 토큰은 13만 2,000건 × 500개 = 6,600만 개입니다. 이제 단가를 곱하면 모델 등급별 월 AI 도입 비용이 나옵니다.
| 모델 등급(단가 입력/출력) | 월 토큰 비용 | 월 원화(가정 환율) | 3년 누적 |
|---|---|---|---|
| 경량(0.10/0.50달러) | 72.6달러 | 약 10만 원 | 약 366만 원 |
| 중간(2/10달러) | 1,452달러 | 약 203만 원 | 약 7,318만 원 |
| 상위(10/50달러) | 7,260달러 | 약 1,016만 원 | 약 3억 6,590만 원 |
| 중간 모델 + 에이전트형 사용(10배 가정) | 1만 4,520달러 | 약 2,033만 원 | 약 7억 3,181만 원 |
이 표가 보여 주는 핵심은 API형 AI 도입 비용은 모델 등급과 사용 방식이 좌우한다는 점입니다. 같은 300명이 같은 질문을 해도 경량 모델이면 3년에 수백만 원, 상위 모델이면 수억 원입니다. 마지막 줄의 에이전트형 사용은 AI가 스스로 여러 번 검색하고 도구를 호출하며 일을 끝내는 방식인데, 뒤에서 다룰 Gartner 전망처럼 작업 하나에 드는 토큰이 일반 질문의 몇 배에서 수십 배까지 늘어납니다.
주의할 점도 있습니다. 이 표의 금액은 토큰 요금만 셈한 값입니다. 사내 문서를 검색해 붙이는 RAG 서버, 화면, 인증 연동, 운영 인력은 빠져 있습니다. 좌석 구독과 비교하려면 이 구축·운영비를 더해야 공정합니다. 그래도 사용량이 이 정도라면 API형 AI 도입 비용 가운데 토큰 비용이 좌석 구독보다 훨씬 작을 수 있다는 사실은 기억해 둘 만합니다. 좌석 요금에는 화면과 기능, 공급사의 운영 비용이 함께 들어 있기 때문입니다.
GPU 서버를 직접 살 때 보는 비용 기준
구축형은 GPU 서버를 조직 안에 두고 공개 모델을 직접 운영하는 방식이며, 구축형 AI 도입 비용은 초기에 크게 나갑니다. 이때 AI 도입 비용의 첫 줄은 하드웨어지만, 문제는 데이터센터용 GPU 서버에는 공개 정가가 거의 없다는 점입니다. 구성, 수량, 공급 시점, 유통 경로에 따라 견적이 크게 달라지기 때문에, 이 글에서는 특정 금액을 사실처럼 적지 않고 하드웨어 구입가를 변수로 두고 계산합니다.
하드웨어 규모를 정하는 기준은 어떤 크기의 모델을 몇 명이 동시에 쓰느냐입니다. MSAP.ai가 분석한 프라이빗 sLLM TCO 글에 따르면 270억 개 파라미터급 공개 모델을 4비트로 양자화하면 용량이 16.8GB 수준으로 줄어 RTX 3090·4090급 GPU 1~2장으로도 서빙할 수 있습니다. 반면 수천억 파라미터급 대형 모델을 여러 사용자가 동시에 쓰려면 H100·H200 같은 데이터센터 GPU 여러 장을 묶은 서버가 필요합니다.
| 구성 예 | 적합한 모델 규모 | 적합한 용도 | 하드웨어 비용 |
|---|---|---|---|
| 워크스테이션급 GPU 1~2장 | 수십억~270억 파라미터(양자화) | PoC·부서 단위 서비스 | 견적 필요(변수 H) |
| 데이터센터 GPU 2~4장 서버 | 수백억 파라미터 | 수백 명 규모 사내 서비스 | 견적 필요(변수 H) |
| 데이터센터 GPU 8장 서버 | 수천억 파라미터·고동시성 | 전사·다수 업무 동시 운영 | 견적 필요(변수 H) |
하드웨어 비용을 TCO에 넣을 때는 감가상각 기간을 정해야 합니다. 이 글에서는 3년 정액 상각을 기준으로 씁니다. GPU 세대가 2년 안팎으로 바뀌기 때문에 5년 상각을 잡으면 마지막 몇 년은 성능이 떨어진 장비를 쓰게 됩니다. 상각 기간을 길게 잡을수록 월 AI 도입 비용은 작아 보이지만, 교체 시점이 앞당겨지면 남은 장부가가 그대로 손실이 됩니다.
하드웨어 외에 AI 도입 비용에 같이 넣어야 하는 장비도 있습니다. 고속 네트워크 스위치, 모델과 문서를 저장할 스토리지, 랙과 전원 설비, 그리고 하드웨어 유지보수 계약입니다. 이 글의 시나리오에서는 유지보수를 하드웨어 구입가의 연 10%로 가정했지만, 실제 비율은 계약 조건에 따라 다르니 공급사 견적으로 바꿔 넣으셔야 합니다.
전력·냉각·상면 비용을 계산하는 방법
구축형 AI 도입 비용에서 과소평가되기 쉬운 항목이 전력입니다. GPU는 일반 서버보다 전기를 훨씬 많이 씁니다. NVIDIA 공식 사양에 따르면 H100 SXM의 최대 소비 전력은 700W(설정 가능)이고, GPU 8장을 묶은 DGX H100 시스템의 최대 전력은 10.2kW입니다. 서버 한 대가 가정집 수십 가구에 맞먹는 전기를 쓰는 셈입니다.
전력 부분의 AI 도입 비용은 다음 순서로 계산합니다. 평균 소비 전력(kW) × 연간 가동 시간 × PUE × 전기 단가입니다. PUE는 데이터센터 전체 전력을 IT 장비 전력으로 나눈 값으로, 냉각과 전원 손실을 반영합니다. 아래는 이 글에서 쓰는 가정값입니다.
| 변수 | GPU 2장 서버(가정) | GPU 8장 서버(가정) | 근거 |
|---|---|---|---|
| 평균 소비 전력 | 2kW | 7kW | 가정(최대치 대비 평균 가동률 반영) |
| 연간 가동 시간 | 8,760시간 | 8,760시간 | 상시 가동 |
| PUE | 1.5 | 1.5 | 가정 |
| 전기 단가 | 150원/kWh | 150원/kWh | 가정 |
| 연간 전력비 | 약 394만 원 | 약 1,380만 원 | 계산값 |
전기 단가 150원/kWh는 가정값입니다. 한국전력 한전ON 전기요금표의 2024년 10월 24일 적용 산업용(을) 고압A 선택Ⅱ는 기본요금 kW당 8,320원에 전력량 요금이 계절과 시간대에 따라 kWh당 116.0원(경부하)에서 229.0원(여름철 최대부하) 사이입니다(2026년 10월 28일 확인). 전력량 요금만 시간대별로 가중 평균하면 대략 이 가정값 근처지만, 기본요금과 부가 요금은 따로 붙습니다. 조직이 실제로 내는 평균 단가를 전기요금 고지서에서 확인해 바꿔 넣는 것이 가장 정확합니다.
이 계산에서 볼 점은 GPU 2장 서버의 전력비는 생각보다 작다는 것입니다. 연 400만 원 안팎이면 전체 TCO에서 큰 비중이 아닙니다. 반면 GPU 8장 서버를 여러 대 운영하면 전력과 냉각 자체가 병목이 됩니다. 기존 전산실의 랙당 전력 한도가 고밀도 GPU 서버를 감당하지 못해 전기 공사나 상면 임대가 추가 AI 도입 비용으로 붙는 경우가 많으니, 구매 전에 설비 담당 부서와 랙당 전력 한도를 반드시 확인해야 합니다.
GPU를 몇 장 사느냐보다 먼저 따질 것이 있다는 지적도 있습니다. GPU 수량에만 집중하다 서빙 구조와 운영 체계를 놓쳐 실패하는 사례는 LLM 도입이 실패하는 이유는 GPU가 부족해서가 아니다에서 함께 읽어 보실 수 있습니다.
클라우드 GPU 임대는 중간 선택지인가?
하드웨어를 사지 않고 클라우드에서 GPU 서버를 빌리는 방법도 있습니다. 데이터를 공급사 모델 API로 보내지 않으면서 초기 구입비도 피할 수 있어 구독형과 구축형 사이의 중간 선택지로 자주 거론됩니다. 하지만 상시 가동 기준으로 계산하면 AI 도입 비용이 결코 작지 않습니다.
AWS가 공개한 온디맨드 요금표의 2026년 10월 27일 게시 가격 데이터에 따르면 H100 8장을 탑재한 p5.48xlarge 인스턴스는 미국 버지니아 북부 리전에서 시간당 55.04달러, 서울 리전에서 시간당 75.9552달러입니다. H100 1장짜리 p5.4xlarge는 버지니아 북부에서 시간당 6.88달러입니다.
| 인스턴스 | 리전 | 시간당 요금 | 1년 상시 가동(8,760시간) | 원화 환산(가정 환율) |
|---|---|---|---|---|
| p5.48xlarge(H100 8장) | 서울 | 75.9552달러 | 약 66만 5,368달러 | 약 9억 3,151만 원 |
| p5.48xlarge(H100 8장) | 버지니아 북부 | 55.04달러 | 약 48만 2,150달러 | 약 6억 7,501만 원 |
| p5.4xlarge(H100 1장) | 버지니아 북부 | 6.88달러 | 약 6만 269달러 | 약 8,438만 원 |
H100 8장 서버를 서울 리전에서 1년 내내 켜 두면 연 9억 원이 넘는 AI 도입 비용이 듭니다. 같은 서버를 3년 쓰면 30억 원 가까이 됩니다. 이 숫자는 하드웨어를 직접 사는 경우와 비교할 때 기준선 역할을 합니다. 상시로 돌릴 업무라면 대개 구입이 더 싸고, 몇 주짜리 PoC나 계절성 작업이라면 임대가 낫습니다.
클라우드 GPU 임대로 AI 도입 비용을 아낄 수 있는 경우는 분명합니다. 사용 시간이 짧거나 들쭉날쭉할 때입니다. 모델 미세조정을 한 달 동안만 돌리거나, 신규 모델을 몇 주 시험해 보는 경우에는 하드웨어를 살 이유가 없습니다. 반대로 업무 시간 내내 사내 서비스로 돌아갈 추론 서버라면 임대료가 감가상각비를 금방 넘어섭니다. 약정 할인이나 예약 인스턴스를 쓰면 단가가 내려가지만, 그만큼 사용 기간을 미리 약속해야 하므로 구축형과 비슷한 고정비 성격이 됩니다.
인력과 운영 비용은 얼마나 잡아야 하나?
AI 도입 비용 견적에서 가장 자주 빠지는 줄이 사람입니다. 소프트웨어와 하드웨어 가격은 견적서에 찍혀 나오지만, 그것을 운영할 사람의 시간은 견적서에 없습니다. 그런데 3년 TCO를 계산해 보면 인력비가 하드웨어보다 큰 경우가 흔합니다.
방식별로 필요한 역할이 다르고, 그만큼 AI 도입 비용 중 인력비도 달라집니다. 좌석 구독은 계정과 권한을 관리하는 관리자, 사용 지침을 만들고 교육하는 담당자 정도면 됩니다. API형은 여기에 업무 시스템과 연동하는 개발자, 답변 품질을 정기적으로 평가하는 담당자가 붙습니다. 구축형은 그 위에 모델 서빙과 GPU 클러스터를 운영하는 엔지니어가 필요합니다. vLLM이나 SGLang 같은 추론 엔진의 설정, 모델 버전 교체, 장애 대응, 용량 계획이 이 엔지니어의 일입니다.
| 역할 | 좌석 구독 | API형 | 구축형 |
|---|---|---|---|
| 계정·권한 관리 | 필요 | 필요 | 필요 |
| 업무 시스템 연동 개발 | 거의 없음 | 필요 | 필요 |
| 답변 품질 평가 | 권장 | 필요 | 필요 |
| 모델 서빙·GPU 운영 | 없음 | 없음 | 필요 |
| 사용자 교육·변화 관리 | 필요 | 필요 | 필요 |
이 글의 시나리오에서는 구축형 운영 인력을 엔지니어 0.5명분, 연 인건비 1억 원 기준으로 가정했습니다. 즉 연 5,000만 원입니다. 조직마다 인건비 수준과 겸직 범위가 다르니 실제 값으로 바꿔 넣으셔야 합니다. 운영 경험이 없는 조직이라면 초기 1년은 외부 기술 지원 계약을 더하는 것이 현실적입니다.
인력 쪽 AI 도입 비용을 줄이는 방법은 운영을 표준화하는 것입니다. 과제마다 별도 서버와 별도 운영자를 두면 과제 수만큼 인력이 늘어납니다. 공통 AI 플랫폼 하나에 모델 서빙, 게이트웨이, 사용량 기록, 권한 관리를 모아 두면 두 번째 과제부터는 운영 인력이 거의 늘지 않습니다. AI 도입 비용을 과제 단위가 아니라 조직 단위로 계산해야 하는 이유가 여기에 있습니다.
오픈마루가 공공 부문 AI 사업을 분석한 백서는 이 차이를 인원수로 보여 줍니다. 업무 시스템마다 AI를 따로 발주하면 시스템마다 운영 인력이 따로 붙어, 시스템 셋에 5명씩 15명이 필요한 구조가 됩니다. 공통 플랫폼을 두면 플랫폼 운영 5명에 시스템별 1명을 더한 8명 수준으로 줄어든다는 예시입니다. 이 숫자는 설명용 예시이지만, 인건비 차이가 소프트웨어 라이선스 차이보다 큰 경우가 일반적이라는 점은 AI 도입 비용 계획에서 꼭 기억할 대목입니다.
견적서에 잘 안 보이는 숨은 비용 정리
구독형이든 구축형이든 견적서에 잘 보이지 않는 AI 도입 비용이 있습니다. 예산이 처음 계획을 넘는 이유의 대부분이 이 항목들입니다. 미리 줄을 만들어 두면 경영진 보고에서 “왜 예산이 늘었느냐”는 질문을 줄일 수 있습니다.
첫째, 데이터 정비 비용입니다. 숨은 AI 도입 비용 가운데 가장 자주 과소평가되는 항목입니다. 사내 문서를 AI가 검색해 답하게 하려면 문서가 정리돼 있어야 합니다. 중복 문서, 오래된 규정, 스캔 이미지로만 남은 문서, 권한이 뒤섞인 공유 폴더를 정리하는 데 사람 시간이 많이 듭니다. 한글 문서를 AI가 읽을 수 있는 형태로 바꾸는 작업도 여기에 들어갑니다.
둘째, 보안성 검토와 감사 대응 비용입니다. 공공기관과 금융기관은 새로운 시스템마다 보안성 검토를 거쳐야 하고, 외부 API를 쓰려면 데이터 국외 이전과 망분리 규정을 따져야 합니다. 검토 기간 동안 사업이 멈추는 것도 AI 도입 비용입니다.
셋째, 통합과 재작업 비용입니다. 처음 고른 모델이 단종되거나 가격이 바뀌면 프롬프트와 평가 문항을 다시 손봐야 합니다. 특정 공급사의 고유 기능에 깊이 묶일수록 다른 모델로 옮길 때 드는 전환 비용이 커집니다.
같은 백서는 업무 시스템마다 AI 모듈을 하나씩 따로 붙이는 발주 방식을 피해야 할 패턴으로 꼽습니다. 시스템이 늘 때마다 모델 연결, 데이터 연동, 보안성 검토가 반복되어 비용이 시스템 수만큼 불어나기 때문입니다. 플랫폼이 표준 API를 제공하고 각 업무 시스템은 필요한 시점에 호출만 하는 구조로 가면 이 반복을 한 번으로 줄일 수 있습니다.
넷째, 품질 관리 비용입니다. AI 답변은 문서가 바뀌거나 모델이 업데이트되면 조용히 달라집니다. 정기적으로 평가 문항을 돌리고 결과를 검토하는 체계가 없으면 품질 저하를 사용자 불만으로 처음 알게 됩니다.
다섯째, 용량 과잉과 유휴 비용입니다. 구축형은 최대 사용량에 맞춰 서버를 사기 때문에, 밤과 주말에는 GPU가 놉니다. 좌석 구독도 쓰지 않는 좌석에 요금이 나갑니다. 둘 다 사용률을 재지 않으면 보이지 않는 낭비입니다.
| 숨은 비용 | 구독형에서 커지는 경우 | 구축형에서 커지는 경우 |
|---|---|---|
| 데이터 정비 | 사내 문서 연결 범위가 넓을 때 | 같음 |
| 보안성 검토 | 외부 전송·국외 이전 검토가 필요할 때 | 신규 장비 도입 검토가 필요할 때 |
| 전환·재작업 | 공급사 고유 기능에 묶였을 때 | 모델 교체 주기가 짧을 때 |
| 품질 관리 | 공급사가 모델을 바꿀 때 | 내부 모델을 바꿀 때 |
| 유휴·과잉 | 쓰지 않는 좌석이 많을 때 | GPU 사용률이 낮을 때 |
숨은 AI 도입 비용은 방식에 따라 사라지지 않고 모양만 바뀝니다. 그래서 이 항목들은 비교표에서 빼지 말고, 두 방식 모두에 같은 무게로 넣어야 합니다. 이 글의 시나리오 계산에서는 숨은 비용을 따로 금액으로 넣지 않았으니, 조직의 경험치로 일정 비율을 더해 보시기 바랍니다.
300명 조직 3년 TCO 시나리오 비교
이제 앞의 숫자를 모아 한 조직의 3년 AI 도입 비용을 비교해 봅니다. 방식별 AI 도입 비용을 같은 표에 놓는 것이 이 절의 목적입니다. 대상은 사무직 300명이 사내 문서 질의응답과 문서 초안 작성에 생성형 AI를 쓰는 조직입니다. 모든 계산은 앞 절의 공식 단가와 가정값에서 나왔고, 가정값은 표에 따로 표시했습니다.
구축형의 하드웨어 구입가는 공개 정가가 없으므로 계산을 보여 주기 위해 GPU 2장 서버 1대를 1억 원으로 가정했습니다. 이 값은 시장 가격 조사가 아니라 예시입니다. 실제 견적을 받으면 그 금액으로 바꿔 넣으시면 됩니다.
| 항목(3년 누적) | A. 좌석 구독(ChatGPT Business) | B. API(중간 모델) | C. 구축형(GPU 2장 서버) |
|---|---|---|---|
| 모델 사용료 | 3억 1,212만 원 | 7,318만 원 | 하드웨어 1억 원(가정) |
| 인프라 운영비 | 별도(작음) | 주변 인프라 별도 | 전력 약 1,183만 원 + 유지보수 3,000만 원(가정) |
| 운영 인력 | 관리자 겸직 | 연동·품질 담당 별도 | 엔지니어 0.5명 1억 5,000만 원(가정) |
| 구축·연동비 | 작음 | 견적 필요 | 견적 필요 |
| 확인된 합계 | 약 3억 1,212만 원 + α | 약 7,318만 원 + 구축·인력 | 약 2억 9,183만 원 + 구축 |
이 AI 도입 비용 비교표를 읽는 법은 이렇습니다. 이 규모와 이 사용량에서는 API형이 토큰 비용 기준으로 가장 쌉니다. 3년 7,318만 원에 연동 개발비와 담당 인력을 더해도 좌석 구독보다 낮을 가능성이 큽니다. 좌석 구독은 화면과 기능을 바로 쓸 수 있다는 장점에 비용을 내는 셈이고, 구축형은 하드웨어보다 운영 인력이 가장 큰 비용이라는 점이 드러납니다.
그런데 사용 방식이 에이전트형으로 바뀌면 AI 도입 비용의 순위가 뒤집힙니다. 같은 300명이 AI에게 자료 조사와 문서 작성을 통째로 맡겨 토큰 사용량이 10배가 되면, API형 3년 토큰 비용은 약 7억 3,181만 원으로 커집니다. 구축형은 서버 용량 안에서 처리할 수 있는 한 비용이 거의 그대로이므로, 이때는 구축형이 훨씬 싸집니다. 다만 사용량이 10배로 늘면 GPU 2장으로 감당할 수 있는지 부하 시험으로 확인해야 하고, 부족하면 서버를 늘리는 비용이 더해집니다.
이 AI 도입 비용 시나리오가 주는 결론은 하나입니다. AI 도입 비용의 승자는 방식이 아니라 사용량이 정합니다. 그래서 처음부터 큰 결정을 내리기보다, 파일럿에서 사용자당 토큰 사용량과 활성 사용자 비율을 재고 그 숫자로 3년 TCO를 다시 계산하는 것이 안전합니다.
손익분기점은 어디서 갈리나?
손익분기점은 API형 월 비용이 구축형 월 비용과 같아지는 사용량입니다. 구축형 월 비용은 하드웨어 상각비와 운영비를 더한 값이고, API형 월 비용은 월 토큰량에 단가를 곱한 값입니다. 앞 시나리오의 가정으로 구축형의 월 AI 도입 비용을 계산하면 다음과 같습니다.
| 구축형 월 비용 항목 | 계산 | 월 금액 |
|---|---|---|
| 하드웨어 상각 | 1억 원(가정) ÷ 36개월 | 약 278만 원 |
| 전력 | 연 394만 원 ÷ 12 | 약 33만 원 |
| 유지보수 | 1억 원 × 연 10%(가정) ÷ 12 | 약 83만 원 |
| 운영 인력 | 연 5,000만 원(가정) ÷ 12 | 약 417만 원 |
| 합계 | 약 811만 원 |
같은 시나리오에서 API형 중간 모델의 월 AI 도입 비용은 약 203만 원입니다. 811만 원을 203만 원으로 나누면 약 4입니다. 즉 현재 사용량의 약 4배가 되는 지점이 손익분기점입니다. 사용자가 300명에서 1,200명으로 늘거나, 같은 인원이 에이전트형 업무로 토큰을 4배 이상 쓰면 그때부터 구축형이 유리해집니다.
이 계산은 단순하지만 의사결정에 바로 쓸 수 있습니다. MSAP.ai의 sLLM TCO 분석도 상용 API 월 사용료가 사내 인프라 상각비의 상단에 닿는 시점을 도입 트리거로 봅니다. AI 도입 비용의 손익분기점을 계산할 때 놓치기 쉬운 변수는 세 가지입니다.
규모가 훨씬 큰 조직에서도 같은 원리가 작동합니다. 아래 그림은 오픈마루가 공공 AI 플랫폼 의사결정 가이드에서 사용자 5,000명을 가정해 그린 5년 누적 비용 시나리오입니다. 사용자당 변동비가 쌓이는 구독형 곡선과 1회 투자 뒤 운영비가 이어지는 온프레미스 곡선이 약 24개월에서 만나고, 사용자 수가 많을수록 손익분기가 앞당겨지는 흐름을 보여 줍니다.
그림. 사용자 규모별 손익분기 시점을 보여 주는 5년 누적 비용 가정 시나리오
그림의 금액은 기관 1곳의 표준 구성을 놓고 계산한 추정치이며, 실제 AI 도입 비용은 사용자 수, 동시 사용자 수, 적용할 업무 시스템 수를 대입해 다시 계산해야 합니다. 이 시나리오에서 눈여겨볼 것은 금액보다 사용자 수가 손익분기 시점을 앞당기는 방향입니다.
첫째, 모델 등급입니다. 상위 모델을 쓰는 업무라면 API 월 비용이 5배 뛰므로 손익분기점이 현재 사용량 아래로 내려옵니다. 반대로 경량 모델로 충분한 업무라면 구축형이 이기기 어렵습니다. 둘째, GPU 사용률입니다. 구축형 월 비용은 서버가 놀든 일하든 같으므로, 사용률이 낮으면 손익분기가 멀어집니다. 셋째, 인력 겸직 여부입니다. 이미 쿠버네티스와 GPU를 운영하는 팀이 있으면 추가 인력비가 작아져 손익분기점이 크게 앞당겨집니다.
손익분기 계산에서 내려야 할 판단은 이렇습니다. 사용량이 손익분기의 절반에도 못 미치면 구독형으로 시작하고, 손익분기를 넘을 것이 분명하거나 규제 때문에 외부 전송이 불가능하면 구축형을 검토합니다. 그 사이에 있다면 업무를 나눠 섞는 하이브리드가 현실적입니다.
GPU 사용률이 왜 그렇게 중요한지는 토큰당 원가를 계산해 보면 분명해집니다. 구축형의 토큰당 원가는 그 기간의 고정비를 그 기간에 실제로 처리한 토큰 수로 나눈 값입니다. 분자인 감가상각·전력·관리비는 요청이 없어도 나가므로, 처리한 토큰이 적으면 토큰당 원가가 올라갑니다. 외부 API는 호출이 없으면 청구도 없어서 이 문제가 없습니다. 장비 조달과 가동률 관리를 공급사가 떠안는 대가로 단가를 내는 거래라고 보면 두 방식의 차이가 쉽게 이해됩니다.
규제와 망분리가 비용 계산을 바꾸는 이유
지금까지의 AI 도입 비용 비교는 모든 방식이 가능하다는 전제였습니다. 하지만 공공기관, 금융기관, 개인정보를 많이 다루는 조직에는 이 전제가 성립하지 않는 경우가 있습니다. 데이터를 외부로 보낼 수 없다면 구독형은 TCO 계산 이전에 후보에서 빠집니다. 이때는 AI 도입 비용 비교가 “구독형과 구축형 중 무엇이 싼가”가 아니라 “구축형을 어떻게 싸게 하느냐”로 바뀝니다.
망분리 환경의 공공기관은 업무망에서 인터넷 API를 바로 부를 수 없습니다. 개인정보보호법의 국외 이전 제한도 해외 리전에서 처리되는 서비스를 쓰기 어렵게 만듭니다. 이런 조직이 외부 서비스를 쓰려면 별도의 보안 검토, 데이터 비식별 처리, 망연계 장비를 거쳐야 하고, 그 과정의 비용과 시간이 구독형의 가격 이점을 지웁니다. MSAP.ai가 정리한 공공기관 AI, 왜 온프레미스여야 하는가는 이 구조를 공공 부문 관점에서 자세히 다룹니다.
| 조건 | 구독형 가능성 | 비용 비교 방식 |
|---|---|---|
| 외부 전송 제한 없음 | 가능 | 구독형·구축형 3년 TCO 직접 비교 |
| 비식별 처리 후 전송 가능 | 조건부 | 구독형 TCO + 비식별·검토 비용 |
| 망분리·국외 이전 불가 | 사실상 불가 | 구축형 안에서 규모·모델 최적화 |
규제가 있는 조직에 유리한 소식도 있습니다. 공개 모델의 성능이 빠르게 올라와 작은 서버로도 쓸 만한 품질을 내는 모델이 많아졌습니다. MSAP.ai의 sLLM 분석에 따르면 270억 파라미터급 공개 모델이 코딩 평가에서 상용 중간 모델과 몇 점 차이까지 따라왔고, 라이선스도 상업적 사용이 가능한 Apache 2.0입니다. 규제 때문에 구축형을 택해야 하는 조직의 AI 도입 비용이 그만큼 내려갔다는 뜻입니다.
토큰 단가는 내려가는데 청구서는 왜 늘어날까?
AI 도입 비용을 이야기할 때 자주 듣는 말이 “가격이 계속 내려가니 기다리면 된다”는 것입니다. 단가가 내려가는 것은 사실입니다. 스탠퍼드 HAI의 2025 AI Index 보고서는 GPT-3.5 수준 성능의 모델을 쓰는 추론 비용이 2022년 11월부터 2024년 10월 사이 280배 넘게 떨어졌다고 밝혔습니다. 같은 보고서는 하드웨어 비용이 매년 30%씩 내려가고 에너지 효율은 매년 40%씩 좋아졌다고 적었습니다.
그런데 Gartner의 전망은 반대 방향의 숫자도 보여 줍니다. Gartner는 2026년 3월 발표에서 1조 파라미터급 모델의 추론 비용이 2030년까지 2025년 대비 90% 넘게 줄어들 것으로 보면서도, 그 절감분이 기업 고객에게 모두 전달되지는 않을 것이라고 했습니다. 같은 발표는 에이전트형 모델이 작업 하나에 5~30배 많은 토큰을 쓴다고 설명합니다. 2026년 8월 발표에서는 에이전트 워크플로 하나의 추론 비용이 2028년까지 5배 넘게 늘어날 것으로 내다봤습니다.
두 숫자는 모순이 아니며, AI 도입 비용 예산이 늘어나는 이유를 함께 설명합니다. 토큰 하나의 값은 내려가지만, 일 하나에 쓰는 토큰 수는 그보다 빨리 늘어납니다. 단순 질문에 한 번 답하던 AI가 이제는 스스로 계획을 세우고, 여러 번 검색하고, 도구를 부르고, 결과를 검토하며 일을 끝냅니다. 업무 한 건의 토큰 사용량이 수십 배가 되면 단가 하락분은 금세 상쇄됩니다.
이 흐름이 AI 도입 비용 계획에 주는 시사점은 두 가지입니다. 첫째, 예산은 단가가 아니라 업무 건당 비용으로 관리해야 합니다. 토큰 단가가 반으로 줄어도 건당 토큰이 다섯 배가 되면 비용은 2.5배가 됩니다. 둘째, 에이전트형 업무를 확대할 계획이라면 손익분기 계산을 처음부터 그 사용량으로 해야 합니다. 앞 시나리오에서 본 것처럼 에이전트형 사용은 구독형과 구축형의 순위를 바꿀 만큼 큰 변수입니다.
AI 도입 비용을 줄이는 방법
방식을 정한 뒤에도 AI 도입 비용은 운영 방법에 따라 크게 달라집니다. AI 도입 비용 절감 효과가 큰 순서대로 여섯 가지를 정리했습니다.
첫째, 모델 라우팅입니다. 모든 요청을 상위 모델로 보내지 않고, 질문의 난이도에 따라 경량 모델과 상위 모델로 나눠 보냅니다. 앞의 단가표처럼 등급 간 단가 차이가 100배이므로, 요청의 대부분을 경량 모델이 처리하게만 해도 토큰 비용이 크게 내려갑니다. LLM 게이트웨이를 두면 이 규칙을 애플리케이션마다 따로 만들지 않고 한곳에서 관리할 수 있습니다.
모델 라우팅과 비용 상한을 실제로 거는 곳이 LLM 게이트웨이입니다. 아래 그림처럼 일반 API 게이트웨이는 요청 수만 세지만, LLM 게이트웨이는 토큰 수와 예산 금액으로 제한을 걸고 모델별 토큰 단가로 요청마다 비용을 집계합니다. 도입 순서는 AI Agent를 위한 LLM 게이트웨이 — LiteLLM 도입 가이드에서 함께 보실 수 있습니다.
그림. 토큰과 예산 단위로 AI 도입 비용을 통제하는 LLM 게이트웨이와 일반 API 게이트웨이의 차이
둘째, 입력 줄이기입니다. API형 AI 도입 비용의 대부분은 입력 토큰에서 나옵니다. RAG에서 문서를 통째로 붙이지 말고 질문과 관련된 조각만 골라 넣으면 입력이 줄어듭니다. 반복되는 지시문은 캐시를 활용하고, 대화 이력은 요약해서 넘깁니다.
셋째, 일괄 처리입니다. 보고서 분류, 문서 요약처럼 즉시 답이 필요 없는 업무는 일괄 처리로 돌리면 공급사 할인을 받을 수 있습니다. 앞서 본 것처럼 OpenAI 가격표는 일괄 처리 단가를 표준 단가의 절반으로 매깁니다.
넷째, 양자화와 작은 모델입니다. 구축형이라면 모델을 4비트나 8비트로 양자화해 메모리를 줄이고, 업무에 맞는 작은 모델을 고르면 필요한 GPU 수가 줄어듭니다. 270억 파라미터급 모델이 양자화로 16.8GB까지 줄어드는 예가 대표적입니다.
다섯째, 추론 엔진 최적화입니다. 같은 GPU라도 추론 엔진에 따라 처리량이 크게 다릅니다. MSAP.ai의 vLLM으로 GPU 도입 비용 줄이기에 따르면 vLLM은 최적화된 서빙 엔진 대비 2~4배, 최적화하지 않은 기본 라이브러리 대비 최대 24배까지 처리량을 높입니다. 처리량이 늘면 같은 사용자를 더 적은 GPU로 감당할 수 있습니다.
여섯째, 사용률 관측입니다. GPU 사용률, 모델별 호출량, 부서별 토큰 사용량을 보지 않으면 어디서 돈이 새는지 알 수 없습니다. GPU 활용률을 높이는 LPM처럼 LLM 성능과 자원 사용을 함께 보는 관측 체계가 있으면 유휴 GPU와 과잉 좌석을 찾아낼 수 있습니다.
| 절감 방법 | 구독형 적용 | 구축형 적용 | 효과가 큰 상황 |
|---|---|---|---|
| 모델 라우팅 | 가능 | 가능 | 단순 요청 비중이 클 때 |
| 입력 줄이기·캐시 | 가능 | 가능 | 긴 문서를 자주 붙일 때 |
| 일괄 처리 | 가능 | 해당 적음 | 즉시 응답이 필요 없을 때 |
| 양자화·작은 모델 | 해당 없음 | 가능 | GPU 수가 비용을 좌우할 때 |
| 추론 엔진 최적화 | 해당 없음 | 가능 | 동시 사용자가 많을 때 |
| 사용률 관측 | 가능 | 가능 | 항상 |
이 여섯 가지는 하나씩 따로 써도 효과가 있지만, 공통 플랫폼 하나에 모아 두면 과제마다 반복할 필요가 없습니다. AI 도입 비용 절감은 결국 표준화의 문제라는 점을 기억해 두시기 바랍니다.
정부 지원과 프로모션으로 초기 비용 낮추는 방법
초기 AI 도입 비용이 부담이라면 정부 지원 사업을 먼저 확인해 볼 만합니다. 대표적인 것이 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 운영하는 AI 바우처 사업입니다. NIPA의 2026년 AI 바우처 지원사업 공고에 따르면 AI 솔루션을 도입하려는 수요기업이 공급기업의 솔루션을 쓸 수 있도록 과제당 최대 2억 원 한도의 바우처를 지원합니다. NIPA 사업 소개 페이지에 적힌 2026년 예산은 276억 2,500만 원입니다.
바우처로 AI 도입 비용을 줄일 때는 몇 가지를 확인해야 합니다. 지원 대상과 분과, 자부담 비율, 공모 기간이 해마다 바뀌므로 공고문 원문을 직접 읽어야 합니다. 그리고 바우처는 초기 도입을 돕지만 3년 운영비를 대신 내 주지는 않습니다. 지원이 끝난 뒤의 운영 비용까지 TCO에 넣어 두지 않으면 2년 차에 예산 공백이 생깁니다.
민간 프로모션도 있습니다. 오픈마루는 웹서버·WAS 운영 플랫폼 OPENMARU iAP 도입 고객을 대상으로 AI 기반 운영 환경을 실제 환경에서 검증할 수 있도록 GPU 서버를 무상으로 임대하는 프로모션을 진행하고 있습니다. GPU 예산이나 조달 일정 때문에 AI 검증을 시작하지 못한 조직이라면 하드웨어를 사기 전에 실제 업무 데이터로 성능과 사용률을 재 볼 기회가 됩니다. 상세 조건은 오픈마루 프로모션 안내에서 확인하실 수 있습니다.
지원과 프로모션으로 AI 도입 비용을 낮추는 순서는 이렇습니다. 먼저 무상 지원이나 바우처로 PoC 비용을 최소화하고, 그 기간에 사용자당 사용량과 GPU 사용률을 잽니다. 그 숫자로 3년 TCO를 다시 계산한 뒤 본사업 예산을 요청합니다. 이렇게 하면 근거 없는 추정 대신 실측값으로 AI 도입 비용을 설명할 수 있습니다.
예산을 세울 때 쓰는 체크리스트
지금까지의 내용을 AI 도입 비용 예산 수립 순서로 묶었습니다. 경영진 보고 전에 아래 항목을 하나씩 채워 보시기 바랍니다. 빈칸이 남아 있다면 그 항목이 예산 초과의 원인이 될 가능성이 큽니다.
| 순서 | 점검 항목 | 채울 값 |
|---|---|---|
| 1 | 데이터를 외부로 보낼 수 있는가 | 가능·조건부·불가 |
| 2 | 대상 업무와 사용자 수 | 업무 목록·인원 |
| 3 | 1인당 하루 요청 수와 요청당 토큰 | 파일럿 실측값 |
| 4 | 업무별 필요한 모델 등급 | 경량·중간·상위 |
| 5 | 방식별 3년 TCO | 좌석·API·구축형 |
| 6 | 손익분기 사용량 | 현재 사용량 대비 배수 |
| 7 | 운영 인력과 겸직 범위 | 인원·비율 |
| 8 | 숨은 비용 예비비 | 비율 또는 금액 |
| 9 | 정부 지원·프로모션 적용 여부 | 지원 금액·기간 |
| 10 | 비용 관측 지표 | 건당 비용·사용률 |
이 체크리스트에서 가장 중요한 칸은 3번입니다. 실측한 사용량 없이 세운 AI 도입 비용 예산은 숫자가 아니라 추측입니다. 그래서 큰 투자를 결정하기 전에 4~8주 파일럿으로 사용량을 재는 단계를 먼저 넣어야 합니다. 파일럿을 어떤 순서로 진행할지는 AI 도입 로드맵 6단계의 PoC와 파일럿 절을 참고하시면 됩니다.
AI 도입 비용 보고서에는 결론을 숫자 하나로 쓰지 말고 범위와 조건으로 쓰는 것이 좋습니다. “사용량이 현재 수준이면 API형 3년 약 7,000만 원대, 에이전트형으로 4배 이상 늘면 구축형 전환 검토”처럼 쓰면 경영진이 조건이 바뀌었을 때 다시 판단할 수 있습니다. 담당자는 분기마다 실제 사용량을 이 조건과 대조해 점검해야 합니다.
MSAP.ai가 돕는 비용 관리 방식
MSAP.ai는 국내 공공·금융·제조 조직이 데이터를 밖으로 내보내지 않으면서 AI 도입 비용을 예측 가능하게 관리하도록 돕는 데 집중하고 있습니다. 이 글에서 본 AI 도입 비용 절감 방법을 과제마다 따로 만들지 않고 공통 기반에서 운영하는 것이 핵심입니다.
- AINP(AI Native Platform): 쿠버네티스 기반으로 공개 모델과 국내 모델을 조직 내부 GPU에 올리고, 추론 엔진, LLM 게이트웨이, 사용 기록, 권한 관리를 한 체계로 운영합니다. 모델 라우팅과 부서별 사용량 집계를 플랫폼에서 처리하므로 과제가 늘어도 운영 인력이 비례해 늘지 않습니다.
- AAS(AI Agent Studio): 업무 담당자가 화면에서 사내 문서와 업무 도구를 연결해 AI 에이전트를 만들고 운영합니다. 에이전트형 업무의 토큰 사용량을 과제별로 볼 수 있어 건당 비용 관리가 쉬워집니다.
- 운영 관측: GPU 사용률, 모델별 호출량, 응답 지연을 함께 보고 유휴 자원과 과잉 사용을 찾아냅니다.
우리 조직의 AI 도입 비용을 어디서부터 계산해야 할지 막막하다면, 대상 업무와 사용량 가정을 함께 잡아 보는 워크숍부터 시작하는 것을 권합니다. 무료로 진행하는 AI Discovery Workshop에서 첫 과제와 방식별 비용 범위를 정리해 볼 수 있습니다.
핵심 정리
- AI 도입 비용은 모델 사용료, 인프라 운영비, 구축·연동비, 인력비, 숨은 비용 다섯 줄로 나눠야 구독형과 구축형을 공정하게 비교할 수 있습니다.
- 구독형은 쓸수록 늘어나는 변동비, 구축형은 먼저 내고 나눠 쓰는 고정비입니다. 두 곡선이 만나는 손익분기점은 사용량이 정합니다.
- 공식 요금 기준 좌석 구독은 사람당 월 2만~4만 원대이고, API는 같은 공급사 안에서도 모델 등급에 따라 단가가 100배 차이 납니다.
- 300명 조직 가정 시나리오에서 3년 비용은 좌석 구독 약 3억 1,212만 원, API 중간 모델 토큰비 약 7,318만 원, 구축형(가정값) 약 2억 9,183만 원이었고, 사용량이 약 4배가 되면 구축형이 유리해집니다.
- 토큰 단가는 내려가지만 에이전트형 업무는 작업당 토큰을 5~30배 씁니다. 예산은 업무 건당 비용으로 관리해야 합니다.
- 데이터를 외부로 보낼 수 없는 조직은 구축형 안에서 작은 모델, 양자화, 추론 엔진 최적화로 비용을 낮춥니다.
- AI 바우처와 GPU 무상 임대 같은 지원으로 PoC 비용을 줄이고, 그 기간에 실측한 사용량으로 3년 TCO를 다시 계산하는 것이 가장 안전한 순서입니다.
AI 전반의 개념과 다른 클러스터 글은 AI란 무엇인가에서, AI 전환 전략은 AX란 무엇인가에서 이어서 보실 수 있습니다.
자주 묻는 질문
AI 도입 비용은 보통 얼마나 드나요?
방식과 사용량에 따라 자릿수가 달라집니다. 300명 조직을 가정한 이 글의 계산에서는 좌석 구독이 3년 약 3억 1,212만 원, API 중간 모델 토큰 비용이 3년 약 7,318만 원, GPU 2장 구축형이 가정값 기준 3년 약 2억 9,183만 원이었습니다. 실제 금액은 파일럿에서 잰 사용량으로 다시 계산해야 합니다.
구독형과 구축형 중 어느 쪽이 더 싼가요?
사용량이 적으면 구독형, 많으면 구축형이 쌉니다. 이 글의 가정에서는 API 월 비용이 현재의 약 4배가 되는 지점이 손익분기점이었습니다. 데이터를 외부로 보낼 수 없는 조직은 가격 비교 이전에 구축형이 전제가 됩니다.
ChatGPT나 Copilot 같은 구독형 서비스는 한 사람에 얼마인가요?
2026년 10월 28일 공식 가격표 기준으로 ChatGPT Business 스탠다드는 연간 결제 시 월 28,900원, Microsoft 365 Copilot은 월 30달러, Claude Team 스탠다드는 월 20달러입니다. 인원 상한과 별도 라이선스 조건이 있으니 계약 전에 다시 확인해야 합니다.
API 토큰 비용은 어떻게 추정하나요?
사용자 수, 1인당 하루 요청 수, 요청당 입력 토큰과 출력 토큰을 정해 월 토큰량을 구한 뒤 모델 단가를 곱합니다. 300명이 하루 20건, 요청당 입력 3,000개와 출력 500개를 쓴다고 가정하면 중간 모델 기준 월 약 1,452달러입니다.
GPU 서버를 직접 사면 하드웨어 말고 무엇이 더 드나요?
전력과 냉각, 데이터센터 상면, 하드웨어 유지보수, 그리고 모델 서빙을 운영할 엔지니어 인건비가 듭니다. 3년 TCO에서는 하드웨어보다 운영 인력이 더 큰 비중을 차지하는 경우가 많고, 고밀도 GPU 서버는 랙당 전력 한도 때문에 전기 공사가 필요할 수도 있습니다.
토큰 단가가 계속 내려가는데 기다리는 편이 낫지 않나요?
단가는 내려가지만 에이전트형 업무는 작업 하나에 5~30배 많은 토큰을 씁니다. Gartner는 에이전트 워크플로 하나의 추론 비용이 2028년까지 5배 넘게 늘어날 것으로 봤습니다. 기다리기보다 업무 건당 비용을 기준으로 지금 사용량을 재는 편이 안전합니다.
AI 도입 비용을 지원받을 수 있는 제도가 있나요?
과학기술정보통신부와 NIPA의 AI 바우처 사업이 대표적이며, 2026년 공고 기준 과제당 최대 2억 원 한도로 AI 솔루션 도입을 지원합니다. 오픈마루의 GPU 서버 무상 임대 프로모션처럼 민간 지원도 있습니다. 지원이 끝난 뒤의 운영비는 TCO에 따로 넣어 두어야 합니다.
참고 리소스
MSAP.ai · 오픈마루 · Cloud Native Forum
- AI(인공지능)란 무엇인가 — 뜻·원리·종류부터 기업 도입까지
- AI 도입 로드맵 6단계 — 과제 선정부터 전사 확산까지
- 프라이빗 sLLM Qwen 3.6 27B — 데이터 주권과 TCO를 함께
- AI LLM 가속 엔진 vLLM — GPU 병목과 도입 비용 줄이기
- AI 도입의 가장 큰 장벽 GPU 인프라 비용, 0원으로 시작하세요
- AX란 무엇인가
- 공공기관 AI, 왜 온프레미스여야 하는가
- GPU 활용률 높이는 법 — LPM(LLM Performance Management)
- 무료 AI Discovery Workshop
- 오픈마루 — NVIDIA GPU 서버 무상 임대 프로모션
- Cloud Native Forum — vLLM 모니터링 가이드
외부 자료
다음 단계
우리 조직의 AI 도입 비용을 구독형과 구축형 가운데 어느 쪽으로 잡아야 할지, 실제 사용량과 데이터 조건으로 함께 계산해 보시기 바랍니다.
- AI란 무엇인가 — 개념부터 기업 도입까지
- MSAP.ai 도입 문의
- 무료 AI Discovery Workshop 신청
- msap.ai 홈페이지
- 이메일 문의: hello@msap.ai · 전화 문의: 02-6953-5427





