• SaaS를 쓸 수 없는 이유: SaaS와 온프레미스의 데이터 경로를 7단계와 3단계로 비교하고, 개보법·국정원·N²SF·EU AI Act의 4중 통제선이 어떻게 SaaS를 동시에 차단하는지 짚습니다.
• 단일 플랫폼 아키텍처: 업무시스템마다 AI를 붙이는 방식의 비효율을 비용으로 비교하고, 단일 AI Gateway로 통합하는 5개 컴포넌트 구조를 제시합니다.
• 알아야 할 LLM 용어: 가중치·MoE·VRAM처럼 도입 검토에 꼭 필요한 용어와 온프레미스 모델의 국내어 성능을 RAG·파인튜닝으로 보완하는 방법을 설명합니다.
• AI의 잘못된 답변을 걸러내는 장치: 개인정보나 편향된 답변, 없는 법령 조항 같은 위험을 입력과 출력 양쪽에서 차단하는 Guardrail·Harness 두 층의 안전망을 다룹니다.
• 단순 챗봇에서 업무 자동화까지: ChatGPT 같은 1단계 챗봇에서 주무관이 업무 흐름을 자동화하는 단계까지, AI Agent가 발전하는 6단계를 설명합니다.
• 일정·예산·실행: 18~24개월 5단계 도입 일정과 5년 TCO, GPU 사양 산정, 그리고 결재용 1쪽 보고서와 RFP 체크리스트로 마무리합니다.

사용자가 입력한 질문이 SaaS 환경에서는 기관 IP를 벗어나 글로벌 CDN과 해외 GPU 추론 서버까지 일곱 단계를 거칩니다. 온프레미스 환경에서는 기관 내부에서 세 단계로 끝납니다. 단계 수의 차이가 곧 데이터가 기관 경계를 벗어나는 횟수라는 점을 보여주기 때문에, SaaS가 왜 보안검토를 통과하지 못하는지 긴 설명 없이 파악할 수 있습니다.

인증과 모델 라우팅, Guardrail(입출력 안전장치), RAG(검색 결합), 감사 로깅을 단일 AI Gateway 뒤에 모으는 구조를 도식으로 설명합니다. 업무시스템이 모델의 종류나 위치를 몰라도 표준 REST·gRPC API만 호출하면 되고, 모델을 교체해도 그 영향이 Gateway 안에서 처리되는 원리를 확인할 수 있습니다.

모델 규모별로 필요한 VRAM(GPU 메모리)과 GPU 사양, 예상 투자 규모를 하나의 표로 정리하고, GPT-OSS-120B를 H100 80GB 한 장으로 운영할 수 있는 지점을 분기점으로 제시합니다. 국내어 성능이 영어 대비 평균 11% 낮다는 측정과, 이를 RAG·파인튜닝으로 KMMLU 78점(SK텔레콤 A.X 4.0)까지 끌어올린 사례가 함께 담겨 온프레미스 모델이 실제 업무에 쓸 만한지 판단할 근거를 제공합니다.

외산 AI 플랫폼을 도입할 때 RFP 특수조건에 그대로 넣을 수 있는 네 개 조항(데이터·운영 로그·모델 가중치 소유권, 종료 시 반환·파기)을 문장 형태로 제공합니다. 도입 전 확인해야 할 다섯 개 점검 항목도 함께 제시하며, 이 가운데 하나라도 충족되지 않으면 도입이 불가하다는 기준까지 명시합니다.

‘ChatGPT를 깔면 안 되는가’, ‘AI가 잘못 답하면 누가 책임지는가’ 같은 의사결정 질문 일곱 개에 대해 각각의 답과 근거 장을 한 표로 정리합니다. 이 표 한 장으로 의사결정의 합리성을 짧은 시간에 확인할 수 있도록 구성되어, 자료의 결론이 실무 보고로 어떻게 이어지는지 미리 살펴볼 수 있습니다.

• 공공기관에서 생성형 AI 도입을 검토하며 “외부 AI를 그대로 쓰면 되지 않느냐”는 질문에 근거 있는 답을 준비해야 하는 정보화·IT 기획 담당자
• AI 사업 RFP나 제안서를 작성하며 데이터 소유권·보안·종료반환 조항을 어떻게 명문화할지 고민하는 사업 담당자
• 온프레미스 LLM의 실제 비용과 GPU 사양, 도입 기간을 가늠해 예산을 세워야 하는 실무자
• 공공 AI 사업을 준비하며 발주기관이 요구할 조건을 미리 파악하려는 SI·솔루션 기업 담당자

공공기관의 AI 도입에서 먼저 답해야 할 것은 모델 성능이 아니라 데이터의 위치와 책임 소재입니다. 어떤 데이터를 어디에서 처리하고, 사고가 났을 때 누가 그 로그를 열어볼 수 있는가에서 외부 SaaS와 온프레미스의 차이가 갈립니다.

백서를 통해 그 판단에 필요한 법적 근거와 아키텍처, 도입 일정과 예산, RFP 조항을 알 수 있습니다.