AI 기술이 우리 삶과 비즈니스에 깊숙이 스며드는 지금, 많은 기업과 개발자들이 LLM(Large Language Model)을 활용한 서비스 개발에 뛰어들고 있습니다. 마치 골드러시처럼 모두가 AI라는 새로운 금맥을 찾아 나서고 있지만, 현실의 장벽은 생각보다 높습니다.

오늘 이야기할 ‘Prompt as a Service’는 바로 이 혼돈 속에서 질서를 찾아주는, AI 애플리케이션 개발의 다음 단계를 이끌어갈 핵심적인 개념입니다.

Prompt as a Service, 줄여서 PraaS는 기존 SaaS 모델의 연장선에서, 웹사이트나 서비스에 AI 기반 기능을 간단히 삽입할 수 있도록 지원하는 서비스 모델입니다.

*PraaS ( Promt As A Service) 구현 예시

PraaS를 한 문장으로 정의하면 “웹사이트에 AI 기능을 간편하게 이식해주는 ‘AI 프롬프트 위젯”이라고 할 수 있습니다.

특히 비개발자도 몇 줄의 JavaScript만으로 자신의 웹사이트에 LLM 기반 프롬프트 기능(예: 챗봇, 스마트 검색, 콘텐츠 생성)을 쉽게 탑재할 수 있도록 하는 것이 핵심입니다.

단순히 <script> 태그 하나를 웹페이지에 삽입하는 것만으로 동작하게 만들며, 그 뒤에서는 거대한 LLM 인프라가 작동합니다.

기존에는 웹사이트에 AI 챗봇이나 AI 검색 기능을 넣으려면 개발자가 직접 다음과 같은 복잡한 과정을 거쳐야 했습니다.

• 프론트엔드 개발: 사용자가 볼 채팅창, 검색창 화면(UI)을 직접 코딩.
• 백엔드 개발: 사용자의 질문을 받아 처리할 서버 구축.
• LLM 연동: OpenAI의 GPT, 구글의 Gemini 등 외부 AI 모델과 통신(API 연동)하는 로직 개발.
• 보안 및 관리: API 키 유출 방지, 사용량에 따른 비용 관리, 서버 확장 등 인프라 관리.

PraaS는 이 모든 과정을 하나로 묶어 서비스 형태로 제공합니다. 웹사이트 운영자는 복잡한 코딩 없이, PraaS가 제공하는 몇 줄의 코드(주로 JavaScript)만 자신의 웹사이트에 붙여 넣으면 곧바로 AI 기능을 사용할 수 있습니다. 마치 유튜브 영상을 웹사이트에 ‘임베드(embed)’하는 것처럼 간편합니다.

PraaS는 크게 사용자가 직접 보는 부분(UI 컴포넌트)과 보이지 않는 곳에서 핵심 작업을 처리하는 부분(백엔드 LLM 처리)으로 나뉩니다.

PraaS는 완성된 다양한 AI UI 컴포넌트를 제공합니다. 사이트 운영자는 별도의 프론트엔드 개발 없이, 웹사이트에 바로 삽입 가능한 형태로 이러한 컴포넌트를 사용할 수 있습니다.

• AI 챗봇 창

– 사용자는 사이트 우측 하단의 채팅 아이콘을 클릭해 챗GPT 스타일의 상담창을 띄울 수 있습니다.

• AI 기반 검색창

– 일반적인 키워드 기반 검색이 아니라, 사용자의 질문 의도를 이해하여 의미 기반으로 답을 제시하는 형태입니다.

• 콘텐츠 요약 / 생성 버튼

– 예를 들어 블로그 콘텐츠에 ‘AI로 요약하기’ 또는 ‘AI로 문장 다시 쓰기’ 같은 버튼을 쉽게 붙일 수 있습니다.

UI 커스터마이징도 별도 코딩 없이 제공되는 대시보드에서 가능하며, 색상, 문구, 위치 설정이 직관적으로 제공됩니다.

사용자가 UI에 질문을 입력하면, 그 뒤에서는 보이지 않는 복잡한 과정이 일어납니다. PraaS는 이 모든 것을 대신 처리해 줍니다.

• LLM Gateway:

• • 역할 : 말 그대로 ‘관문’입니다. 사용자가 챗봇이나 검색창에 입력한 모든 요청(Prompt)이 가장 먼저 도착하는 곳입니다. 이 게이트웨이는 요청을 받아 가장 적절한 처리 시스템으로 안내하는 ‘교통정리 담당자’ 역할을 합니다.

• LLM API 연동 및 처리:

• • 역할 : 게이트웨이를 통과한 요청은 여기서 실질적으로 처리됩니다.

• • LLM 가속기: 사용자의 질문에 대한 답변이 1초라도 빨리 생성되도록 처리 속도를 최적화하는 기술입니다.

• • RAG (Retrieval-Augmented Generation, 검색 증강 생성) 시스템: 이것이 매우 중요한 기술입니다. 일반적인 LLM은 웹사이트의 특정 정보(예: 우리 회사의 최신 제품 정보, 환불 정책 등)를 모릅니다. RAG는 사용자의 질문과 관련된 정보를 우리 회사 데이터베이스나 문서에서 먼저 검색(Retrieval)한 후, 검색된 정보를 바탕으로 LLM이 답변을 생성(Generation)하도록 하는 기술입니다.

• 보안 및 비용 관리:

• • 역할 : PraaS는 이 API 키를 안전한 서버에 보관하고 관리해 줍니다. 또한, 여러 LLM을 사용하더라도 비용을 통합하여 정산해주므로 관리가 편리해집니다.

• 하이브리드 LLM 구조 (탄력적 확장성의 핵심):

• • 배경: 사용자 응답 속도(Latency)는 서비스 품질에 매우 중요합니다. 그런데 갑자기 사용자가 몰리면(예: 이벤트 기간) 서버가 과부하에 걸려 응답이 느려지거나 멈출 수 있습니다.

• • 작동 방식:
    1. 평상시: 빠르고 비용 효율적인 Private LLM(자체 구축했거나 특정 목적에 최적화된 소형 LLM)을 사용하여 요청을 처리합니다.
    2. 과부하 시: Private LLM이 감당하기 힘든 수준으로 요청이 몰리면, 요청을 외부 LLM(강력한 대규모 Public LLM)으로 자동으로 전환하여 처리합니다. 이때 RAG를 통해 검색된 우리 회사 정보는 외부 LLM에게 함께 전달되므로 답변의 정확성은 유지됩니다.

• • 결과: 사용자는 서비스가 느려지거나 멈추는 것을 거의 느끼지 못합니다. 이처럼 상황에 따라 유연하게 시스템 자원을 조절하는 것을 ‘탄력적 확장성’이라고 부릅니다.

Script Embedding은 말 그대로 “자바스크립트 코드 한 줄을 웹페이지에 삽입하는 방식”을 의미합니다. 흔히 우리가 Google Analytics, Chatbot, 광고 배너, 또는 페이스북 픽셀 등을 웹사이트에 추가할 때 사용하는 방식과 동일합니다.

• 방문 시 자동으로 챗봇 UI가 로딩됨
  • 사용자의 웹사이트를 방문하면 이 스크립트가 자동으로 실행되어,
  • PraaS 서버에서 미리 구성된 AI 챗봇 UI 컴포넌트(예: 말풍선, 버튼, 챗창)를 가져와 화면에 표시합니다.
  • 이 UI는 이미 CSS, JS, 이벤트 로직 등이 포함된 완성형 위젯이며, 웹사이트에 자연스럽게 삽입됩니다.

이 방식 덕분에 HTML 구조를 아주 조금만 아는 사람, 혹은 워드프레스 같은 웹사이트 빌더를 사용하는 비개발자도 손쉽게 AI 기능을 도입할 수 있습니다.

‘Ask Gov’라는 이름의 PraaS(Prompt as a Service)를 공공기관에 적용하는 것은, 단순히 홈페이지에 AI 기능을 붙이는 차원을 넘어 정보 접근 방식 자체를 혁신하는 전략적 전환입니다.

아래는 공공기관에 적용할 수 있는 사례들을 유형별로 구조화하여, 설명 드립니다.

✔️ 적용 배경

기존 공공기관 홈페이지는 방대한 정보가 계층적으로 배치되어 있어, 시민이 원하는 정보에 빠르게 접근하기 어렵습니다.

✔️ Ask 서비스 적용 방식

• 시민이 웹사이트 우측 하단 챗봇 UI에 다음과 같이 묻습니다:
  

  “70세 이상 어르신이 받을 수 있는 서울시 복지 혜택은 뭐가 있나요?”

• Ask는 다음을 고려하여 응답:
  • 사용자의 연령 (70세)
  • 거주 지역 (서울시)
  • 복지 정책 (기초연금, 장기요양보험, 무료 독감 예방접종, 실버문화 프로그램 등)

✔️ 기술 구성

• 사용자의 질문은 LLM과 연결된 RAG 시스템으로 전달
• 최신 복지 정책 문서에서 연관된 정보만 추출
• Chat UI에서 자연어로 요약 응답

✔️ 도입 효과

• 민원 전화·방문 감소
• 비정형 질의에 대한 대응력 향상
• 고령층 및 디지털 소외계층을 위한 자연어 인터페이스 제공

✔️ 질문 예시

“이번 주말에 노원구에서 아이랑 갈 만한 행사 있어?”

✔️ 적용 방식

• 사용자 지역기반 행사 정보 API + LLM 요약 응답
• 날짜 필터링 및 나이 조건 적용
• UI는 기존 웹 일정표보다 훨씬 직관적

✔️ 도입 효과

• 지역 주민과의 정서적 연결 강화
• 기존에 가려져 있던 소규모 행사 홍보 활성화
• 데이터 활용률 증가

✔️ 질문 예시

“2025년 9급 공무원 채용 일정이 어떻게 되나요?”

“장애인 특별전형도 있나요?”

✔️ 적용 방식

• LLM이 최근 채용 공고 문서를 읽고 요약
• 별도 Excel/PDF에서 일정을 추출하여 자연어로 변환
• 조건부 정보도 명확히 분리 응답

✔️ 도입 효과

• FAQ보다 훨씬 정밀한 정보 제공
• 채용 정보 전달 누락 방지
• 접근성 확보 (시각장애인, 외국인 등에게도 자연어 기반 설명 제공)

✔️ 질문 예시

“지금 대구 지역에 폭염주의보 내려졌나요?”

“재난지원금 신청 어디서 해요?”

✔️ 적용 방식

• 기상청/행안부 재난정보 API와 연동
• 지역 기반 위험 경보 정보 추출
• 신청 페이지 직접 안내

✔️ 도입 효과

• 재난 시 문의 폭증 대응 가능
• 정확하고 통합된 안내 제공
• 시민 불안 해소 및 정부 신뢰도 제고

Prompt as a Service(PraaS) 서비스는 사용자가 ‘서울시에서 받을 수 있는 복지혜택’과 같은 자연어 질문을 웹사이트에 입력하면, 대형 언어 모델(LLM)이 이를 분석해 맞춤형 정보를 제공합니다. 기존 키워드 기반 검색과 달리, 나이, 거주지, 상황 등 맥락을 고려한 정밀한 답변을 제공할 수 있는 것이 특징입니다.

웹사이트에는 단 한 줄의 JavaScript 스니펫만으로 쉽게 설치되며, 별도의 앱 개발이나 로그인 없이 이용 가능합니다. 비개발자도 손쉽게 도입할 수 있어 지방자치단체, 교육청, 공공기관 등에 적합합니다. 정보를 ‘찾는 방식’에서 ‘묻고 답하는 방식’으로 전환함으로써 시민 접근성을 획기적으로 높여줍니다. 또한, 공공데이터 API와 연동해 실시간으로 최신 정보를 제공합니다. 이로써 공공서비스의 디지털 전환을 빠르고 효율적으로 구현할 수 있습니다.

• LLM 챗봇 구축: 공공 기관 LLM 기반 지능형 홈페이지 구현 방안
• ChatGPT는 아는데, LLM은 무엇인가요?