오늘 우리는 기술이 어떻게 시민과 공공기관의 관계를 근본적으로 변화시킬 수 있는지에 대한 흥미로운 주제를 소개 하고자 합니다.

바로 LLM(Large Language Model)을 활용한 ‘Ask Gov’, 즉 ‘Ask 서울시’, ‘Ask 노원구청’과 같은 새로운 패러다임의 대국민 서비스에 관한 이야기입니다.

이 글은 단순히 신기술을 소개하는 것을 넘어, 왜 지금 우리가 키워드 검색의 시대를 지나 ‘프롬프트 서비스(Prompt as a Service)’ 시대로 나아가야 하는지, 그리고 그 핵심에 있는 LLM의 본질은 무엇인지 깊이 있게 알아 봅니다.

우리는 ‘인공지능’이라는 말을 지겹도록 들어왔습니다. 하지만 LLM이 기존의 AI 챗봇이나 검색 엔진과 무엇이 다른지 명확히 설명하기는 쉽지 않습니다. ‘Ask 서비스’의 잠재력을 제대로 이해하기 위해서는, 그 근간을 이루는 몇 가지 핵심 개념을 전문가의 시선으로 재해석할 필요가 있습니다.

가장 먼저 이해해야 할 것은 LLM은 ‘정답을 아는 존재’가 아니라 ‘가장 그럴듯한 다음 단어를 예측하는 모델’이라는 점입니다. 이 단순한 원리가 엄청난 차이를 만듭니다. 기존의 키워드 검색은 사용자가 입력한 단어가 포함된 문서를 찾아 순서대로 나열해 주는 ‘인덱스(Index)’ 기반의 정보 검색이었습니다. 사용자는 수많은 검색 결과 속에서 스스로 답을 찾아야 하는 수고를 감수해야 했습니다.

반면, ‘Ask 서비스’와 같은 LLM 기반 시스템은 사용자의 질문, 즉 ‘프롬프트(Prompt)’의 맥락(Context)과 의도(Intent)를 파악합니다. 예를 들어, “서울시에 사는 30대 무주택 청년인데, 전세자금 대출 지원받을 수 있는 정책 좀 알려줘”라는 질문을 받았다고 가정해 봅시다.

키워드 검색은 ‘서울시’, ’30대’, ‘청년’, ‘전세자금’이라는 단어가 들어간 모든 문서를 긁어모을 것입니다. 하지만 LLM은 이 문장을 ’30대’, ‘무주택’, ‘서울 거주’라는 자격 요건(Condition)과 ‘전세자금 대출 정책 정보’라는 요구사항(Request)으로 해석합니다. 이 해석을 가능하게 하는 기술이 바로 임베딩(Embedding)입니다. 임베딩은 단어나 문장을 다차원 공간의 벡터(숫자 배열)로 변환하여, 의미적으로 유사한 개념들을 가깝게 배치합니다. ‘전세자금’과 ‘주택 보증금’이 키워드는 다르지만 의미적으로는 가깝다고 판단하는 능력의 근원입니다.

하지만 여기서 LLM의 치명적인 약점, 바로 ‘환각(Hallucination)’ 문제가 발생합니다. LLM은 학습한 방대한 데이터 내에서 가장 그럴듯한 답변을 ‘창작’해내기 때문에, 사실관계가 틀리거나 존재하지 않는 정책을 만들어낼 수 있습니다. 공공 서비스에서 신뢰성은 무엇보다 중요하기에, 이 문제는 반드시 해결해야 합니다.

이때 등장하는 것이 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 기술입니다. RAG는 ‘Ask 서비스’의 심장과도 같은 핵심 아키텍처입니다. 그 작동 방식은 다음과 같습니다.

1. 검색(Retrieval): 사용자의 질문이 들어오면, LLM은 먼저 답변을 생성하는 대신, 임베딩 기술을 활용해 서울시나 노원구청이 제공한 신뢰할 수 있는 내부 데이터베이스(DB) 및 문서들에서 질문과 가장 관련성이 높은 정보들을 찾아냅니다. 예를 들어, 최신 정책 문서, 법규, 공지사항 등이 이 대상이 됩니다.
2. 증강(Augmented): 이렇게 찾아낸 신뢰도 높은 정보들을 사용자의 원래 질문과 함께 LLM에게 ‘참조 자료’로 제공합니다.
3. 생성(Generation): LLM은 오직 이 참조 자료의 내용에만 근거하여, 사용자의 질문에 가장 적합한 답변을 자연스러운 문장으로 생성합니다.

결론적으로, RAG는 LLM의 자유로운 창작 능력을 ‘신뢰할 수 있는 사실’이라는 울타리 안에 가두는 역할을 합니다. 이를 통해 ‘Ask 서비스’는 단순 정보 나열을 넘어, 사용자의 복잡한 질문 의도를 파악하고, 기관의 정확한 데이터를 기반으로 맞춤형 답변을 생성하는, 신뢰성 높은 대화형 전문가로 거듭날 수 있는 것입니다. IT 의사결정자라면, ‘Ask 서비스’ 도입 시 이 RAG 아키텍처의 견고한 설계와 고품질의 내부 데이터 확보가 프로젝트의 성패를 좌우한다는 점을 반드시 인지해야 합니다.

‘Ask 서비스’와 같은 아이디어는 비단 한국만의 고민은 아닙니다. 전 세계적으로 디지털 정부를 선도하는 국가들은 이미 시민 소통의 창구를 지능화하려는 노력을 활발히 전개하고 있습니다.

몇 가지 주목할 만한 사례를 깊이 있게 살펴보겠습니다.

가장 대표적인 곳은 영국 정부의 GOV.UK입니다. GOV.UK는 오래전부터 모든 정부 부처의 정보를 통합하여 단일 창구에서 제공하는 것으로 유명했습니다. 최근 이들은 생성형 AI를 도입하는 파일럿 프로그램을 진행 중입니다. 그들의 접근 방식은 매우 신중합니다. 초기 단계에서는 AI를 활용해 방대한 정부 가이드라인과 정책 문서를 사용자가 이해하기 쉬운 언어로 요약하거나, 복잡한 질문에 대한 답변의 초안을 작성하는 데 집중하고 있습니다. 이는 RAG의 원리를 충실히 따르는 것으로, 공공 정보의 정확성을 훼손하지 않으려는 의도가 엿보입니다.

미국의 경우, 연방정부 차원보다는 각 주와 시 정부 단위의 시도가 활발합니다. 예를 들어, 샌디에이고 시는 ‘Get It Done’ 앱에 생성형 AI 챗봇을 통합하여 시민들이 도로 파손 신고나 쓰레기 수거 요청과 같은 생활 민원을 대화 형식으로 더 쉽게 처리할 수 있도록 지원하고 있습니다. 이는 단순 정보 제공을 넘어, 실제 행정 서비스 처리(Transaction)까지 AI를 연계하려는 시도라는 점에서 의미가 있습니다.

아시아의 기술 허브인 싱가포르는 ‘Ask Jamie’라는 정부 챗봇을 오랫동안 운영해왔습니다. 초기에는 규칙 기반(Rule-based)이었지만, 최근에는 자연어 처리 기술을 고도화하고 있습니다. 싱가포르 정부는 한발 더 나아가, LLM을 활용해 법률 전문가들이 방대한 판례와 법률 조항을 빠르게 검색하고 분석할 수 있도록 돕는 내부 시스템을 개발하는 등, 대국민 서비스뿐만 아니라 내부 행정 효율성을 높이는 데에도 LLM을 적극적으로 활용하고 있습니다.

이러한 글로벌 사례들을 분석해 보면 한 가지 공통된 흐름을 발견할 수 있습니다. 바로 ‘신중한 접근’과 ‘명확한 목적성’입니다. 그들은 무작정 ChatGPT와 같은 범용 모델을 그대로 서비스에 적용하지 않습니다. 대신, RAG 아키텍처를 통해 자신들이 통제할 수 있는 신뢰된 데이터를 기반으로 답변을 생성하게 하고, 시민의 세금 정보나 개인정보와 같은 민감한 주제보다는 생활 정보, 정책 안내 등 비교적 안전한 영역에서부터 점진적으로 서비스를 확대하고 있습니다. ‘Ask 서비스’ 역시 이러한 글로벌 트렌드에 발맞추어, 가장 먼저 시민들이 필요로 하고, 또 가장 안전하게 제공할 수 있는 정보 영역이 어디일지 전략적으로 선택하는 것이 중요합니다.

’83세 어머니가 받을 수 있는 복지 혜택’과 같은 질문에 LLM이 답변하는 방식은 기존 홈페이지와의 차이를 극명하게 보여줍니다. LLM은 단순히 ‘노인 복지’ 페이지 링크를 제공하는 데 그치지 않습니다. 학습된 지식을 활용하여 83세라는 나이, 서울시 거주라는 정보를 고려하여 다음과 같은 정보를 종합적으로 정리해 줄 수 있습니다.

시나리오 1: “83세 어머니가 받을 수 있는 복지 혜택이 뭐가 있나요?”

👉챗봇 응답:

안녕하세요. 83세 어르신께서 받을 수 있는 복지 혜택에 대해 안내해 드리겠습니다.

• 기초연금: 만 65세 이상 어르신 중 소득 하위 70%에 해당하시는 분들께 월 최대 30만 원의 기초연금이 지급됩니다.
• 장기요양보험: 장기요양등급을 판정받으시면, 방문 요양 서비스 등 다양한 지원을 받으실 수 있습니다.
• 노원구 경로당 프로그램: 노원구에서는 어르신들을 위한 경로당 프로그램을 운영하고 있으며, 주 2회 건강 체조 및 문화 활동이 제공됩니다.
• 무료 건강검진: 노원구 보건소에서는 연 1회 무료 건강검진을 실시하고 있으며, 사전 예약이 필요합니다.
• 신청 방법: 해당 혜택들은 가까운 주민센터를 방문하시거나, 복지로 웹사이트를 통해 온라인으로 신청하실 수 있습니다.
• 문의처: 자세한 사항은 구청 복지과(전화번호: 02-XXX-XXXX)로 문의하시기 바랍니다.

시나리오 2: “서울에 사는 27세 청년인데, 어떤 지원을 받을 수 있나요?”

👉챗봇 응답:

안녕하세요. 서울에 거주하시는 27세 청년분께 제공되는 지원 프로그램에 대해 안내해 드리겠습니다.

• 청년수당: 서울시는 만 19세부터 34세까지의 미취업 청년을 대상으로 월 50만 원씩 최대 6개월간 청년수당을 지원합니다.
• 청년 월세 지원: 월 최대 20만 원의 월세를 10개월간 지원하는 프로그램이 있으며, 일정 소득 요건을 충족하는 청년이 대상입니다.
• 취업 연계 프로그램: 서울시 일자리카페에서는 취업 컨설팅, 이력서 작성 지원, 모의 면접 등 다양한 취업 지원 서비스를 제공합니다.
• 신청 방법: 서울청년포털(https://youth.seoul.go.kr)을통해 온라인으로 신청하실 수 있습니다.
• 문의처: 자세한 사항은 서울시 청년청(전화번호: 02-XXX-XXXX)으로 문의하시기 바랍니다.

시나리오 3:”결혼 이민자인데, 어떤 지원을 받을 수 있나요?”

👉챗봇 응답:

안녕하세요. 결혼 이민자분들을 위한 다양한 지원 프로그램에 대해 안내해 드리겠습니다.

• 한국어 교육: 전국의 다문화가족지원센터에서는 결혼 이민자분들을 위한 무료 한국어 교육 프로그램을 운영하고 있습니다.
• 자녀 교육 지원: 다문화 가정의 자녀를 위한 방과 후 학습 지원 프로그램이 제공되며, 학습 멘토링 및 문화 체험 활동 등이 포함됩니다.
• 법률 상담: 다문화가족지원센터에서는 결혼 이민자분들을 위한 무료 법률 상담 서비스를 제공하여, 체류, 국적, 가족 문제 등 다양한 법률적 지원을 받을 수 있습니다.
• 신청 방법: 가까운 다문화가족지원센터를 방문하시거나, 전화로 상담을 예약하실 수 있습니다.
• 문의처: 자세한 사항은 다문화가족지원센터(전화번호: 02-XXX-XXXX)로 문의하시기 바랍니다.

1. 1. 연령별 복지 혜택: 83세 어르신에게 적용되는 기초연금, 장기요양보험 등 핵심 복지 제도 개요 설명.
   2. 거주지 기반 서비스: 노원구에서 제공하는 경로당 프로그램, 방문 돌봄 서비스, 무료 건강 검진 대상자 및 신청 방법 안내.
   3. 필요 서류 및 절차: 각 혜택을 신청하기 위해 필요한 서류(주민등록등본, 소득 증빙 등) 및 신청 절차(온라인 신청, 방문 신청 등)에 대한 상세 설명.
   4. 관련 부서 연락처: 추가 문의를 위한 노원구청 복지 관련 부서 또는 동주민센터 연락처 제공.

이는 마치 해당 분야의 전문가가 사용자의 질문을 듣고, 관련 정보를 모두 파악하여 가장 빠르고 정확하게 요약해서 알려주는 것과 같습니다. 정보의 ‘나열’에서 ‘종합 및 맞춤형 제공’으로 패러다임이 전환되는 것입니다. 구축형 LLM의 경우, 지자체 내부의 민감하거나 특정화된 데이터(내부 규정, 지역 특화 사업 등)까지 안전하게 학습시켜 훨씬 더 정교하고 현지화된 답변을 제공할 수 있다는 장점이 있습니다.

‘Ask 서비스’는 단순히 새로운 민원 창구를 하나 더 만드는 프로젝트가 아닙니다. 이는 공공기관이 보유한 방대한 데이터를 시민의 언어로 재해석하여, 정보의 장벽을 허물고 누구나 쉽고 평등하게 공공 서비스에 접근할 수 있도록 만드는 디지털 전환의 핵심 철학입니다.

오늘 우리가 함께 살펴본 LLM의 핵심 개념과 RAG 아키텍처, 글로벌 트렌드, 그리고 특허 전략은 ‘Ask 서비스’를 성공으로 이끌기 위한 필수적인 나침반이 될 것입니다.시민이 정부를 ‘검색’하는 시대를 넘어, 정부에게 ‘질문하고 대화하는’ 새로운 시대를 여는 그 길에 여러분이 앞장서 주시기를 기대합니다.

• Prompt as a Service(PraaS)란 무엇인가?