목차 (Agenda)

Blog,미분류,엔터프라이즈 AI

LLM이란 무엇인가 — 원리부터 기업 도입 판단까지

ChatGPT가 촉발한 AI 도입 검토는 대부분 같은 질문에서 출발합니다. “LLM이란 정확히 무엇이고, 우리 회사 업무에 어디까지 믿고 쓸 수 있는가”입니다. 이 질문에 답하려면 마케팅 문구가 아니라 동작 원리를 알아야 합니다. 원리를 알면 환각(hallucination)이 왜 생기는지, 왜 컨텍스트 윈도우와 GPU 비용이 도입 예산을 좌우하는지, 상용 API와 자체 구축 중 무엇이 자사…

2026년 07월 27일

LLM이란 무엇인가 — 다음 토큰을 예측하는 기계

LLM(Large Language Model, 대규모 언어 모델)은 방대한 텍스트 데이터로 사전 학습되어 언어를 이해하고 생성하는 딥러닝 모델입니다(IBM). 겉보기에는 질문에 답하는 대화 상대처럼 보이지만, 내부 동작은 훨씬 단순한 원리로 요약됩니다. 지금까지 주어진 텍스트 다음에 올 토큰(token — 모델이 텍스트를 처리하는 최소 단위로, 단어 또는 단어 조각)을 확률적으로 예측하는 일을 반복할 뿐입니다(Google for Developers).

“서울은 대한민국의”라는 입력을 받으면 모델은 “수도”라는 토큰에 가장 높은 확률을 부여하고, 그 토큰을 출력에 붙인 뒤 다시 다음 토큰을 예측합니다. 이 단순한 반복이 수천억 개 단어 규모의 학습 데이터와 결합하면, 요약·번역·질의응답·코드 작성 같은 다양한 언어 작업을 별도 개발 없이 수행하는 범용 능력이 나타납니다(IBM). 문서를 직접 만들어 내는 이 특성 때문에 LLM은 생성형 AI의 대표 주자로 불립니다. 생성형과 판별형의 계열 차이는 클러스터 글 생성형 AI와 판별형 AI에서 따로 다룹니다.

그림 1. LLM의 동작 원리 — 다음 토큰 예측의 반복

여기서 자주 헷갈리는 것이 LLM과 ChatGPT의 관계입니다. LLM은 언어를 처리하는 두뇌에 해당하는 모델이고, ChatGPT는 그 모델 위에 대화 인터페이스와 안전장치를 올려 서비스로 만든 제품입니다. 같은 모델 계열 위에 서로 다른 서비스가 여럿 올라갈 수 있으므로, 도입 검토에서는 “어떤 서비스를 쓸 것인가”와 “어떤 모델을 쓸 것인가”를 분리해서 판단해야 합니다. 이 구분은 ChatGPT는 아는데, LLM은 무엇인가요?에서 더 풀어 설명합니다.

IT 담당자에게 중요한 함의는 두 가지입니다. 첫째, LLM은 데이터베이스가 아니라 확률 모델이므로 “저장된 정답을 꺼내는” 시스템이 아닙니다. 둘째, 출력 품질은 학습 데이터와 입력(프롬프트)에 좌우되므로, 기업 도입에서는 모델 자체만큼 데이터와 활용 설계가 중요합니다.

LLM은 어떻게 동작하나 — 트랜스포머와 어텐션

오늘날 거의 모든 LLM의 뼈대는 2017년 Google 연구진이 발표한 트랜스포머(Transformer) 구조입니다(Vaswani et al., “Attention Is All You Need”, 2017). 트랜스포머 이전의 언어 모델은 문장을 앞에서부터 순서대로 처리해, 긴 문장의 앞부분 정보를 뒤에서 잊어버리는 한계가 있었습니다. 트랜스포머는 셀프 어텐션(self-attention — 문장 안 모든 토큰 쌍 사이의 관련도를 동시에 계산하는 방식)으로 이 문제를 풀었습니다.

셀프 어텐션의 효과는 예문 하나로 드러납니다. “은행에 가서 대출 금리를 물어봤다”라는 문장에서 “은행”의 의미를 정하려면 “대출”과 “금리”라는 멀리 있는 단어를 참조해야 합니다. 어텐션은 모든 단어가 문장 내 다른 모든 단어와 얼마나 관련되는지를 수치로 계산해, 문맥 전체를 반영한 의미 표현을 만들어 냅니다(Vaswani et al., 2017). 순서대로 읽지 않고 병렬로 계산하므로 GPU에서 효율적으로 학습할 수 있고, 이 병렬성 덕분에 모델과 데이터 규모를 계속 키우는 경쟁이 가능해졌습니다.

그림 2. 셀프 어텐션이 문맥을 만드는 방식과 대형화 경쟁의 인과

규모를 키울수록 성능이 예측 가능하게 좋아진다는 사실이 확인되면서, 파라미터 1,750억 개의 GPT-3(OpenAI, 2020)를 기점으로 모델 대형화가 본격화됐습니다. 지금의 LLM 경쟁은 결국 트랜스포머라는 같은 뼈대 위에서 데이터·규모·학습 기법을 겨루는 구도입니다.

LLM은 어떻게 학습되나 — 사전학습·미세조정·정렬 3단계

LLM의 학습은 크게 세 단계로 나뉩니다(IBM; Google for Developers). 각 단계의 역할을 알면 “왜 같은 모델 계열에 base 버전과 instruct 버전이 따로 있는지” 같은 실무 질문이 풀립니다.

1단계는 사전학습(pre-training)입니다. 웹 문서·서적·코드 등 수조 토큰 규모의 텍스트에서 다음 토큰 예측을 반복하며 언어의 통계적 구조를 흡수합니다. 이 단계가 전체 계산 비용의 대부분을 차지하며, 결과물이 base 모델입니다. base 모델은 언어 능력은 뛰어나지만 지시를 따르는 훈련이 되어 있지 않아 그대로 업무에 쓰기 어렵습니다.

2단계는 미세조정(fine-tuning)입니다. “지시-응답” 형태의 데이터로 추가 학습해, 질문에 답하고 지시를 수행하는 방식을 가르칩니다. 기업이 자사 도메인 데이터로 모델을 추가 학습시키는 작업도 이 단계의 응용입니다.

3단계는 정렬(alignment)입니다. 사람이 선호하는 답변 방식을 학습시켜 유해하거나 부정확한 출력을 줄이는 단계로, 사람의 피드백을 활용한 강화학습(RLHF, Reinforcement Learning from Human Feedback)이 대표 기법입니다(IBM). 상용 서비스에서 쓰는 chat·instruct 계열 모델은 이 3단계를 모두 거친 결과물입니다.

그림 3. LLM 학습 3단계와 단계별 산출 모델

실무 관점의 요점은 이렇습니다. 사전학습을 직접 수행하는 것은 소수 빅테크의 영역이고, 기업의 선택지는 이미 학습된 모델을 가져와 미세조정하거나, 학습 없이 검색으로 지식을 보강하는 것입니다. 이 갈림길은 뒤의 도입 기준 절에서 다시 짚습니다.

모델 스펙은 어떻게 읽어야 하나 — 파라미터·컨텍스트 윈도우·추론 비용

모델 소개 페이지의 숫자들은 세 가지만 정확히 읽으면 대부분 해석됩니다.

파라미터 수는 모델이 학습 과정에서 조정하는 내부 수치의 개수로, 모델의 용량을 나타냅니다. 7B(70억)·70B(700억)처럼 표기하며, 대체로 클수록 언어 능력이 좋아지지만 그만큼 GPU 메모리와 추론 비용이 늘어납니다. 최근에는 작은 모델의 성능이 빠르게 좋아지면서 “업무에 필요한 최소 규모”를 찾는 쪽으로 흐름이 바뀌었습니다.

컨텍스트 윈도우(context window)는 모델이 한 번에 처리할 수 있는 입력+출력의 최대 토큰 길이입니다(Google for Developers). 계약서 검토처럼 긴 문서를 다루는 업무라면 이 값이 곧 처리 가능한 문서 크기를 결정합니다. 다만 컨텍스트가 길수록 토큰당 비용과 응답 지연이 함께 늘어난다는 점을 같이 봐야 합니다.

추론 비용은 운영 단계에서 요청을 처리할 때마다 발생하는 비용입니다. 상용 API는 입력·출력 토큰당 과금하고, 자체 구축은 GPU 장비·전력·운영 인력이 비용의 본체가 됩니다. 도입 검토 단계에서 흔한 실수가 파일럿의 호출량만 보고 예산을 잡는 것입니다. 사용자가 늘면 토큰 사용량은 선형 이상으로 늘어나므로, 유스케이스별 예상 트래픽으로 총비용을 미리 계산해야 합니다.

LLM 모델에는 어떤 것들이 있나 — 상용·오픈 웨이트·국내 모델

스펙 읽는 법을 익히면 다음 질문은 자연스럽게 “그래서 어떤 모델을 쓰나”로 넘어갑니다. 현재 모델 지형은 크게 세 갈래로 나뉘고, 갈래마다 기업이 감수해야 하는 제약이 다릅니다.

상용 폐쇄형 모델은 OpenAI GPT 계열, Anthropic Claude, Google Gemini처럼 API로만 제공되는 모델입니다. 최신 성능을 계약 즉시 쓸 수 있고 운영 부담이 거의 없지만, 가중치를 받아 사내에 두는 선택지는 없습니다. 성능 상단을 빠르게 확인해야 하는 초기 검증에 적합합니다.

오픈 웨이트(open-weight) 모델은 학습된 가중치가 공개되어 내려받아 직접 서빙할 수 있는 모델입니다. Meta Llama, Mistral, Alibaba Qwen, Google Gemma, DeepSeek이 대표적이고, Falcon 180B나 DBRX·Jamba처럼 대형·MoE(Mixture of Experts) 계열도 공개돼 있습니다. 기업 관점의 이점은 세 가지로 압축됩니다. 데이터가 사내 경계를 벗어나지 않고, 도메인 데이터로 직접 튜닝할 수 있으며, 외부 사업자의 가격·정책 변경에 운영이 흔들리지 않습니다. 폐쇄망처럼 인터넷이 닿지 않는 환경에서도 돌릴 수 있다는 점은 공공·금융에서 특히 무겁게 작용합니다. 공개 모델 생태계 전반은 AI도 오픈소스가 답이다 — 공개 LLM과 생태계에서 정리했습니다.

국내 한국어 특화 모델은 한국어 데이터 비중을 높여 학습해 조사·존댓말·신조어 같은 한국어 고유의 결을 더 자연스럽게 처리합니다. 업스테이지 SOLAR, 카카오 Kanana, Polyglot-Ko가 상업 이용까지 열려 있는 축이고, 네이버 HyperCLOVA X와 LG AI연구원 EXAONE은 조건부 라이선스로 제공됩니다. 고려대 KULLM, KoAlpaca처럼 연구·튜닝 베이스 성격의 모델도 있습니다. 모델별 파라미터·라이선스·강점 비교는 국내 LLM 모델들의 현황과 비교에, EXAONE 단독 정리는 Exaone은 무엇인가 — LG가 개발한 LLM 모델에 있습니다.

그림 4. LLM 모델 지형 — 상용 폐쇄형·오픈 웨이트·국내 한국어 특화

모델을 고를 때 성능 벤치마크보다 먼저 확인해야 하는 것이 라이선스입니다. 가중치가 공개됐다고 해서 상업 이용이 자유로운 것은 아닙니다. Apache 2.0처럼 제약이 거의 없는 조건이 있는 반면, 월간 활성 사용자 상한을 두거나 비상업(NC) 용도로만 허용해 상업화 시 별도 계약을 요구하는 조건도 있습니다. 라이선스는 같은 계열이라도 버전과 파생 모델(base·instruct·튜닝본)마다 달라지므로, 후보를 좁힌 뒤 실제 사용할 체크포인트 기준으로 다시 확인하는 편이 안전합니다.

LLM의 약점은 무엇인가 — 환각과 최신성, 그리고 보완 기법

LLM의 구조적 약점은 원리에서 그대로 도출됩니다. 다음 토큰을 확률적으로 생성하는 모델이므로, 그럴듯하지만 사실이 아닌 내용을 만들어 내는 환각(hallucination — 모델이 근거 없는 내용을 사실처럼 생성하는 현상)이 원천적으로 발생할 수 있습니다(IBM). 또한 모델의 지식은 학습 데이터가 수집된 시점에 고정되므로, 그 이후의 사건이나 사내 최신 규정은 알지 못합니다.

기업 환경에서 이 약점을 보완하는 대표 기법이 그라운딩(grounding — 답변을 검증 가능한 근거 자료에 묶는 것)이며, 그 실무 표준이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. 질문과 관련된 사내 문서를 먼저 검색해 근거로 제공하고, 모델이 그 근거 안에서 답하게 하는 방식입니다. 모델을 다시 학습시키지 않고도 최신성·정확성·출처 표시를 확보할 수 있어 기업 도입의 첫 검토 대상이 됩니다. 파이프라인 구성은 클러스터 글 RAG란 무엇인가에서 자세히 다룹니다.

입력 설계로 출력 품질을 끌어올리는 접근도 병행됩니다. 지시문의 구조·예시·제약 조건을 다듬어 같은 모델에서 더 정확한 결과를 얻는 방법은 프롬프트 엔지니어링 가이드에서 이어집니다. 요컨대 환각은 “좋은 모델”을 고른다고 사라지지 않으며, 근거 연결과 활용 설계라는 시스템 차원의 보완이 필요합니다.

상용 API와 자체 구축, 무엇을 기준으로 고르나

선택 기준은 성능 벤치마크가 아니라 데이터 주권·비용 구조·운영 역량 세 가지입니다. 두 방식의 차이를 표로 정리하면 다음과 같습니다.

판단 기준	상용 LLM API	자체 구축(self-hosting)
데이터 흐름	입력이 외부 사업자 인프라로 전송	사내 인프라 안에서 처리
초기 투자	거의 없음(호출량 과금)	GPU 서버·구축 인력 필요
비용 구조	사용량 비례, 대규모일수록 부담 증가	고정비 중심, 사용량 많을수록 유리
모델 선택	최신 대형 모델 즉시 사용	오픈 웨이트 모델 중심
운영 부담	낮음	서빙·모니터링·업그레이드 자체 책임
규제 대응	사업자 약관·리전에 의존	통제 범위 안에서 직접 설계

핵심 분기점은 데이터 주권입니다. 고객 정보·내부 문서가 외부로 나가면 안 되는 공공기관·금융권이라면 자체 구축 또는 폐쇄망 구축이 사실상 전제 조건이 됩니다. 반대로 민감 데이터를 다루지 않는 업무라면 상용 API로 빠르게 시작해 검증하는 편이 합리적입니다. 비용은 트래픽 규모가 가릅니다. 호출량이 적은 초기에는 API가 저렴하지만, 전사 확산으로 트래픽이 커지면 토큰 과금 총액이 자체 구축의 고정비를 넘어서는 시점이 옵니다.

그림 5. 상용 API vs 자체 구축 판단 순서와 비용 구조 비교

자체 구축을 택했다면 모델 하나만 고르는 것으로 끝나지 않고 운영 스택을 함께 정해야 합니다. 같은 GPU에서 처리량을 끌어올리는 추론 서빙 엔진으로는 vLLM이 사실상 표준으로 자리 잡았고, 도입 효과와 비용 절감 폭은 vLLM 추론 서빙으로 GPU 병목과 AI 도입 비용 줄이기 백서에 정리돼 있습니다. 사용자 쪽 인터페이스는 Ollama와 Open WebUI 조합으로 오프라인 환경에서도 대화·문서 검색·권한 관리를 갖출 수 있고, 여러 모델과 상용 API를 하나의 엔드포인트로 묶어 키·비용·라우팅을 통제하려면 LiteLLM 같은 LLM 게이트웨이를 앞단에 둡니다. 사내 GPU 예산 안에서 어느 정도 규모가 현실적인지는 프라이빗 sLLM Qwen 3.6 27B 데이터 주권·TCO 백서의 산정 기준이 참고가 됩니다.

두 방식은 양자택일이 아니라는 점도 중요합니다. 민감 업무는 사내 모델로, 일반 업무는 상용 API로 나누는 혼합 구성이 실무에서는 오히려 일반적입니다. MSAP.ai의 LLM 모듈은 이 혼합 구성을 전제로, 퍼블릭 API·사내 GPU 클러스터·경량 사설 모델을 같은 마이크로서비스 규격으로 묶어 기존 ERP·CRM·ITSM에 연결하는 방식을 씁니다. 자체 구축 쪽을 택할 때 검토하게 되는 경량 모델과 오픈소스 생태계는 이 시리즈의 sLLM 편에서, GPU 산정과 서빙 효율은 AI 인프라 편에서 각각 다룹니다.

첫 유스케이스는 무엇으로 시작해야 하나

첫 유스케이스의 조건은 “화려함”이 아니라 근거 데이터가 준비되어 있고 효과를 측정할 수 있는 업무입니다. 이 기준에 맞는 대표 후보가 세 가지입니다.

사내 검색·질의응답은 흩어진 규정·매뉴얼·기술 문서에서 답을 찾아 주는 업무로, RAG 구성의 표준 사례입니다. 검색 대상 문서가 이미 정리돼 있다면 착수가 빠르고, 답변에 출처를 붙일 수 있어 신뢰 확보가 쉽습니다. 문서 요약·초안 작성은 회의록 요약, 보고서 초안, 번역처럼 입력과 출력이 명확해 품질 평가가 쉬운 영역입니다. 고객·민원 응대 보조는 상담원이 참조할 답변 초안을 생성하는 방식으로 시작해, 검증이 쌓이면 자동화 범위를 넓히는 경로가 안전합니다.

셋의 공통점은 사람의 검토가 흐름 안에 자연스럽게 들어간다는 것입니다. LLM의 확률적 특성상 초기 유스케이스는 “AI가 초안을 만들고 사람이 확정하는” 구조로 설계하는 편이 도입 리스크를 낮춥니다.

원리를 알면 도입 판단이 단순해집니다

정리하면 LLM은 트랜스포머 구조 위에서 다음 토큰 예측을 학습한 확률 모델이며, 그 원리로부터 강점(범용 언어 능력)과 약점(환각·최신성 한계·비용)이 모두 도출됩니다. 그래서 도입 판단의 순서도 명확해집니다. 업무에 필요한 정확도와 데이터 민감도를 먼저 정의하고, 그 조건에 맞춰 API와 자체 구축을 가르고, 환각 보완을 위한 근거 연결(RAG)과 활용 설계를 함께 계획하는 것입니다.

모델은 빠르게 바뀌지만 이 판단 틀은 바뀌지 않습니다. 앞으로 어떤 신형 모델이 나오더라도, 파라미터·컨텍스트·비용·라이선스를 읽고 자사 데이터와 규정 위에 올리는 능력이 기업 AI 역량의 본체입니다. 그 전체 지형은 필러 글 엔터프라이즈 AI란 무엇인가에서 조망할 수 있습니다.

자주 묻는 질문 (FAQ)

LLM이란 무엇인가요?

방대한 텍스트로 다음 토큰 예측을 학습한 대규모 언어 모델입니다. 트랜스포머 구조 위에서 사전학습·미세조정·정렬 단계를 거쳐 만들어지며, 요약·번역·질의응답 같은 언어 작업을 별도 개발 없이 수행합니다(IBM).

LLM과 생성형 AI는 같은 말인가요?

같지 않습니다. 생성형 AI는 텍스트·이미지·음성 등 콘텐츠를 만들어 내는 AI의 총칭이고, LLM은 그중 언어를 다루는 대표 계열입니다. 이미지 생성 모델처럼 LLM이 아닌 생성형 AI도 있습니다.

대표적인 LLM 모델에는 어떤 것들이 있나요?

API로만 쓰는 상용 폐쇄형(GPT 계열·Claude·Gemini), 가중치가 공개되어 직접 서빙할 수 있는 오픈 웨이트(Llama·Mistral·Qwen·Gemma·DeepSeek), 한국어에 특화된 국내 모델(SOLAR·Kanana·Polyglot-Ko·HyperCLOVA X·EXAONE) 세 갈래로 보면 정리가 쉽습니다. 국내 모델 비교는 국내 LLM 모델들의 현황과 비교를 참고하세요.

오픈소스 LLM은 상업적으로 자유롭게 쓸 수 있나요?

모델마다 다릅니다. 가중치가 공개된 것과 상업 이용이 허용된 것은 별개이며, Apache 2.0처럼 제약이 거의 없는 조건이 있는가 하면 월간 사용자 상한이나 비상업(NC) 조건이 붙어 별도 계약이 필요한 경우도 있습니다. 같은 계열이라도 버전·파생 모델마다 조건이 갈리므로 실제 사용할 체크포인트 기준으로 확인해야 합니다.