LLM 작동 원리, 8분 동영상으로 보는 AI 개념 이해

TL;DR — LLM 작동 원리는 다음 단어 예측의 반복입니다. 모델은 다음에 올 단어의 확률을 계산하고, 답변은 그 예측을 한 단어씩 이어 붙인 결과입니다.

AX를 검토하는 기업의 IT 담당자가 LLM 도입 여부를 판단하려면 LLM 작동 원리, 곧 모델이 답을 만드는 방식부터 알아야 합니다. 이 글은 그 판단을 돕기 위해 3Blue1Brown 한국어 채널이 공개한 영상 ‘LLM 설명 (요약버전)’의 내용을, 영상을 보지 않은 독자도 따라올 수 있도록 캡처 9장과 함께 주장 단위로 정리했습니다.

3Blue1Brown 한국어 채널의 이 영상은 7분 53초 동안 다음 단어 예측에서 트랜스포머까지 LLM 작동 원리를 한 번에 훑습니다. 원본은 3Blue1Brown의 영어 영상이고, 한국어판은 예문 일부를 한국어 문장으로 바꿨습니다.

영상에서 다루는 순서는 다음과 같습니다.

• 찢어진 대본 이야기로 설명하는 다음 단어 예측 (0:04)
• 확률 분포와 무작위 선택 (0:46)
• 학습 텍스트의 규모와 파라미터 (1:29)
• 훈련 방법과 역전파 (2:30)
• 훈련 연산량과 사전 훈련, RLHF (3:10)
• GPU와 트랜스포머, 어텐션 (4:16)
• 피드포워드와 층 반복, 출력을 설명하기 어려운 까닭 (5:39)

LLM 작동 원리에 관한 영상의 설명을 질문으로 바꾸면 열 가지입니다. 아래 열 개 절이 이 순서대로 답합니다.

1. 챗봇의 답변은 어떤 절차로 만들어지는가?
2. 같은 질문을 넣었는데 왜 답이 매번 달라지는가?
3. 모델은 얼마나 많은 글을 읽고 학습하는가?
4. 파라미터는 무엇이고 왜 ‘대규모’라고 부르는가?
5. 훈련은 파라미터를 어떤 기준으로 고치는가?
6. 훈련에 드는 계산은 어느 정도이고 왜 GPU가 필요한가?
7. 다음 단어를 잘 맞히는 모델이 어떻게 어시스턴트가 되는가?
8. 트랜스포머는 이전 모델과 무엇이 다른가?
9. 어텐션은 문장 안에서 무슨 일을 하는가?
10. 마지막에 확률은 어디에서 나오고, 왜 그 이유를 설명하기 어려운가?

챗봇의 답변은 한 번에 완성되지 않습니다. 모델이 다음에 올 단어 하나를 예측하고, 그 단어를 글 끝에 붙인 뒤 다시 예측하는 일을 되풀이한 결과입니다. LLM 작동 원리를 한 문장으로 줄이면 이 반복입니다.

영상은 절반이 찢어진 영화 대본으로 설명을 시작합니다. 사람이 인공지능에게 묻는 대사만 남고 인공지능의 대답은 사라진 대본입니다. 어떤 글을 넣든 그다음에 올 단어를 그럴듯하게 예측해 주는 기계가 있다면, 남은 절반을 넣어 첫 단어를 얻고 그 단어를 대본에 덧붙여 다시 넣는 식으로 대본을 끝까지 채울 수 있습니다. 영상은 ChatGPT와 나누는 대화가 실제로 이런 식으로 이루어진다고 말합니다.

대규모 언어 모델(Large Language Model, 줄여서 LLM)은 이 기계에 해당합니다. 영상의 정의는 “어떤 텍스트가 주어졌을 때 다음에 올 단어를 예측하는 매우 정교한 수학적 함수“입니다.

▲ 다음 단어를 하나씩 예측해 붙여 답변을 만든다 (영상 0:37)

캡처 왼쪽에는 사람이 “트랜지스터가 뭐야?”라고 묻는 대화문이 있고, 답은 “트랜지스터란 반도체 중 하나로, 전기적 신호를 통해”까지만 쓰여 있습니다. 오른쪽 회색 상자가 모델이고, 그 아래에 다음 단어 ‘동작하는’이 나와 있습니다. 이 단어가 답변 끝에 붙으면 모델은 늘어난 글 전체를 다시 입력으로 받습니다.

모델이 내놓는 것은 단어 하나가 아니라 후보 단어마다 매긴 확률이고, 그중 하나를 고를 때 무작위성을 섞기 때문에 같은 질문에도 답이 달라집니다.

영상은 앞의 정의를 곧바로 고쳐 말합니다. 모델은 단어 하나를 확정해서 내놓지 않고, 다음에 올 수 있는 단어들의 확률을 구합니다. 챗봇을 만들 때는 사용자와 AI 어시스턴트가 나누는 대화라는 설정의 글을 먼저 두고, 거기에 사용자의 질문을 덧붙인 다음, 어시스턴트의 응답을 한 단어씩 예측하게 합니다.

▲ 출력은 단어 하나가 아니라 후보 단어들의 확률 (영상 1:07)

캡처는 원본 영상의 영어 예시를 그대로 보여 줍니다. 산티아고에서 할 만한 일을 추천해 달라는 질문 뒤에 올 첫 단어 후보로 ‘Sure’ 39%, ‘There’ 36%, ‘Of’ 9%, ‘Santiago’ 4%가 나열돼 있습니다. 확률이 가장 높은 ‘Sure’에 노란 테두리가 쳐져 있고, ‘There’도 그와 비슷한 확률입니다.

영상은 가장 확률이 높은 단어만 고르지 않고 가끔 확률이 조금 낮은 단어도 무작위로 고르게 하면 답변이 더 자연스러워진다고 설명합니다. 모델 자체는 같은 입력에 같은 확률을 내는 결정론적 함수이지만, 이 선택 단계 때문에 같은 입력에도 매번 다른 답이 나올 수 있습니다. LLM 작동 원리 가운데 업무와 가장 직접 닿는 성질이며, 뒤의 보충 절에서 다시 다룹니다.

모델이 그럴듯한 예측을 하는 근거는 인터넷에서 수집한 방대한 텍스트입니다. 영상은 그 규모를 사람의 읽는 시간으로 바꿔 보여 줍니다. GPT-3가 학습한 텍스트를 사람이 하루 24시간 쉬지 않고 읽으면 2,600년이 넘게 걸립니다. 요즘 모델들은 이보다 훨씬 많은 데이터로 훈련됐다고 영상은 덧붙입니다.

LLM 작동 원리의 이 대목은 도입을 검토하는 쪽에도 뜻이 있습니다. 모델이 아는 것은 학습 때 읽은 텍스트의 패턴이므로, 조직의 내부 문서와 최신 규정은 따로 넣어 주지 않으면 답에 반영되지 않습니다. 이 해석은 영상이 직접 말한 내용이 아니라 글쓴이의 추론입니다.

영상 밖의 보충을 덧붙이면, 이 한계 때문에 질문 한 줄만 넣어 답을 받던 초기 사용 방식은 오래가지 못했습니다. 지금은 검색한 문서와 대화 기록을 질문과 함께 넣어 주는 구성이 널리 쓰이고, 검색 증강 생성(RAG, 질문과 관련된 문서를 먼저 찾아 모델의 입력에 붙여 주는 방식)이 대표적입니다. 모델을 다시 훈련하지 않고 입력을 바꿔서 내부 문서를 답에 반영하는 방법이며, 구성 요소는 RAG 파이프라인을 해부한 글에 정리돼 있습니다.

모델의 출력은 파라미터라고 부르는 수많은 숫자 값이 결정하며, 이 값이 수백억에서 수천억 개에 이르기 때문에 ‘대규모’라는 이름이 붙었습니다.

영상은 파라미터를 다이얼에 빗댑니다. 모델 안에 다이얼이 빽빽하게 있고, 그 눈금을 돌리면 모델이 다음 단어를 예측하는 결과가 달라집니다. 파라미터(parameter)와 가중치(weight)는 이 다이얼 값을 가리키는 같은 뜻의 말입니다.

▲ 다이얼 하나가 파라미터(가중치) 하나 (영상 2:05)

캡처 위쪽에 ‘Parameter / Weight’라는 제목이 있고, 모델 상자의 다이얼 하나가 확대돼 있습니다. 입력은 “싸늘하다 가슴에 비수가 날아와”이고, 오른쪽에는 다음 단어 후보의 확률이 ‘꽂힌다’ 53%, ‘타짜’ 30%, ‘손’ 6%, ‘눈은’ 5% 순으로 표시돼 있습니다. 다이얼 값이 달라지면 이 숫자들도 함께 바뀝니다. 파라미터를 알면 LLM 작동 원리의 나머지 절반인 훈련을 설명할 수 있습니다.

이렇게 많은 값을 사람이 직접 정할 수는 없습니다. 영상에 따르면 값은 처음에 무작위로 놓이고, 훈련을 되풀이하면서 더 그럴듯한 예측을 내는 쪽으로 조정됩니다. 영상 밖의 자료로 규모를 확인하면, GPT-3를 소개한 논문은 이 모델의 파라미터가 1,750억 개라고 밝혔습니다(Brown 외, 2020).

영상 밖의 보충을 하나 더 하면, 이 파라미터를 조직이 직접 갖고 있어야 LLM을 쓸 수 있는 것은 아닙니다. 상용 모델을 공급자의 API로 호출하는 구성에서는 조직이 가중치도 GPU도 보유하지 않고, 주고받은 토큰(모델이 글을 나누어 세는 단위) 수만큼 비용을 냅니다. 가중치가 공개된 모델을 내려받아 자체 장비에서 돌리는 구성에서는 둘 다 조직이 맡습니다. LLM 작동 원리는 두 구성에서 같고, 달라지는 것은 파라미터와 연산 장비를 누가 갖고 운영하느냐입니다.

훈련의 기본 단위는 문장에서 마지막 단어를 가리고 그 단어를 맞히게 하는 문제입니다. 예측이 정답에서 벗어난 만큼 파라미터를 조금 고치고, 이것을 셀 수 없이 되풀이합니다.

영상에 따르면 훈련에 쓰는 글은 짧게는 몇 단어, 길게는 수천 단어입니다. 글에서 마지막 단어를 뺀 나머지를 모델에 넣고, 모델이 마지막 단어를 어떻게 예측하는지 확인한 뒤, 그 예측이 정답에 가까워지도록 파라미터를 살짝 조정합니다. 이 조정에 쓰는 알고리즘이 역전파(backpropagation, 예측과 정답의 차이를 거꾸로 따라가며 각 파라미터를 얼마나 고칠지 계산하는 방법)입니다.

▲ 정답 단어 쪽으로 확률이 옮겨 간다 (영상 2:57)

캡처 위쪽의 문장 “싸늘하다. 가슴에 비수가 날아와 꽂힌다.”에서 마지막 단어 ‘꽂힌다’가 노란색으로 표시돼 있습니다. 이 단어가 정답입니다. 아래쪽에서는 마지막 단어를 뺀 문장이 모델에 들어가고, 출력 확률은 ‘꽂힌다’ 59%, ‘타짜’ 31%, ‘손’ 6%입니다.

영상이 강조하는 것은 그다음입니다. 이 과정을 충분히 되풀이하면 모델은 학습 데이터에 있던 문장뿐 아니라 처음 보는 문장에도 그럴듯한 예측을 하게 됩니다. 외운 문장을 꺼내는 것이 아니라 다음 단어를 고르는 규칙이 파라미터에 쌓이는 것이고, 이 점이 LLM 작동 원리를 검색 엔진과 구분해 줍니다.

파라미터 수와 학습 텍스트가 모두 크기 때문에 훈련에 필요한 계산은 한 대의 기계가 순서대로 처리할 수 있는 양을 크게 넘습니다.

영상은 덧셈과 곱셈 같은 연산을 1초에 10억 번 하는 가상의 기계로 언어 모델을 훈련시키면 얼마나 걸리는지 묻습니다. 1년이나 1만 년을 떠올리기 쉽지만 영상이 내놓는 답은 1억 년입니다(영상 3:21).

▲ 100년에서 1억 년까지 늘어나는 시간 눈금 (영상 3:43)

캡처에는 시간 눈금 네 개가 위에서 아래로 놓여 있습니다. 100년, 10,000년, 1,000,000년, 100,000,000년입니다. 한 칸 내려갈 때마다 100배씩 커집니다.

이 계산을 현실의 시간 안에 끝내는 방법이 병렬 처리입니다. 영상은 훈련에 필요한 연산을 처리하려면 병렬 처리와 여기에 특화된 칩인 GPU(그래픽 처리 장치)가 꼭 필요하다고 설명합니다. 뒤에 나오는 트랜스포머가 LLM 작동 원리에서 중요한 까닭도 이 병렬 처리에 있습니다.

앞에서 본 훈련은 사전 훈련이라고 부르는 첫 단계일 뿐이고, 질문에 쓸모 있게 답하는 어시스턴트를 만들려면 사람의 피드백으로 하는 두 번째 훈련이 필요합니다.

영상은 다음 단어를 예측하는 일과 좋은 AI 어시스턴트가 되는 일은 조금 다르다고 말합니다. 그래서 사전 훈련(pre-training)을 마친 모델을 강화 학습의 한 종류인 RLHF(Reinforcement Learning from Human Feedback, 사람의 피드백을 이용한 강화 학습)로 한 번 더 훈련합니다. 사람이 모델의 잘못된 응답을 직접 고치거나 여러 응답 가운데 더 나은 것을 골라 주면, 모델은 사용자가 선호하는 방향으로 다음 단어를 예측하도록 조정됩니다.

▲ 사람의 피드백으로 하는 추가 훈련(RLHF) (영상 4:06)

캡처 왼쪽에는 사람 여섯 명이 저마다 화면 앞에 앉아 있고, 화면에는 질문과 AI 어시스턴트의 응답이 떠 있습니다. 오른쪽은 다이얼이 가득한 모델입니다. 사람들의 평가가 파라미터를 다시 조정하는 데 쓰인다는 점을 나타냅니다.

LLM 작동 원리에서 두 단계가 맡는 일을 표로 정리했습니다.

영상 밖의 자료를 하나 보태면, 이 방식을 대화형 모델에 적용한 과정은 OpenAI 연구진의 논문 Training language models to follow instructions with human feedback에 자세히 나와 있습니다.

2017년에 구글 연구팀이 발표한 트랜스포머는 글을 앞에서부터 한 단어씩 읽지 않고 전체를 한꺼번에 병렬로 처리합니다. 이 구조 덕분에 GPU의 병렬 연산을 온전히 쓸 수 있게 됐습니다.

영상에 따르면 2017년 이전에는 대부분의 언어 모델이 단어를 하나씩 순서대로 처리해 병렬 처리에 잘 맞지 않았습니다. 트랜스포머(Transformer)가 나온 뒤 많은 것이 바뀌었습니다.

▲ 구글 연구팀의 트랜스포머 논문 (영상 4:39)

캡처 왼쪽에는 구글 로고와 함께 논문 첫 장이 보입니다. 제목은 ‘Attention Is All You Need‘이고 저자 여덟 명의 이름과 소속이 적혀 있습니다. 오른쪽은 트랜스포머 내부를 그린 입체 도식으로, 문장의 단어들이 위에서 한꺼번에 들어갑니다. LLM 작동 원리를 구조 쪽에서 설명할 때 출발점이 되는 논문이며, 원문은 arXiv 1706.03762에 있습니다.

트랜스포머에 들어가기 전에 단어는 숫자로 바뀝니다. 영상은 훈련이 연속적인 수치 위에서만 이루어질 수 있기 때문에 언어를 숫자로 인코딩한다고 설명합니다. 단어 하나는 숫자 여러 개를 늘어놓은 벡터가 되고, 이 벡터가 그 단어의 의미와 맥락을 담습니다.

어텐션은 단어 벡터들이 서로 정보를 주고받게 해서, 같은 단어라도 주변 문맥에 맞는 뜻을 갖도록 벡터를 고치는 연산입니다.

트랜스포머가 숫자 벡터를 처리할 때 쓰는 핵심 연산이 어텐션(attention)입니다. 영상은 한국어의 ‘눈’을 예로 듭니다. 주변에 ‘내린다’가 있으면 ‘눈’의 벡터는 하늘에서 내리는 눈을 뜻하는 쪽으로 바뀌고, ‘보는 눈이 많다’에서는 사람의 눈을 뜻하는 쪽으로 바뀝니다.

▲ 같은 ‘눈’이 문맥에 따라 다른 뜻이 된다 (영상 5:20)

캡처 오른쪽에 “밖에 눈이 많이 내린다”와 “여긴 보는 눈이 많다” 두 문장이 있고, 두 문장의 ‘눈이’가 같은 색으로 강조돼 있습니다. 왼쪽은 원본 영상의 영어 문장이 단어마다 숫자 열로 바뀐 모습이고, 그 위로 ‘Attention’이라는 글자와 함께 단어 사이를 잇는 곡선이 여러 개 그려져 있습니다.

LLM 작동 원리에서 모델은 단어를 사전의 뜻 하나로 고정해 두지 않습니다. 입력 문장 전체가 각 단어의 뜻을 정하는 재료가 됩니다. 질문에 넣는 배경 설명과 조건이 답을 바꾸는 까닭을 이 구조에서 짐작할 수 있는데, 영상이 프롬프트 작성법을 다루지는 않으므로 이 짐작은 글쓴이의 해석입니다.

트랜스포머는 어텐션과 피드포워드라는 두 연산을 여러 층에 걸쳐 되풀이하고, 마지막 층에서 나온 벡터 하나로 다음 단어의 확률 분포를 계산합니다.

영상은 어텐션 다음에 피드포워드 네트워크(feed-forward network)라는 연산이 들어 있다고 소개합니다. 피드포워드는 모델이 더 많은 언어 패턴을 저장할 수 있게 해 주는 부분입니다. 두 연산을 한 층으로 보고 이 층을 여러 번 지나가면, 각 단어의 벡터는 점점 더 문맥을 잘 반영하게 됩니다.

▲ 어텐션 다음에 오는 피드포워드 연산 (영상 5:45)

캡처에는 영어 문장의 단어들이 위쪽에 놓여 있고, 그 아래 어텐션 덩어리를 지난 숫자 열들이 ‘Feedforward’라고 적힌 영역으로 들어갑니다. 이 영역은 빨간색과 파란색 선이 촘촘하게 얽힌 그물로 그려져 있고, 오른쪽으로 새 숫자 열이 빠져나옵니다.

영상의 표현으로는, 층을 지나는 동안 다음 단어를 정확히 예측하는 데 필요한 정보가 압축돼 끝까지 전달됩니다. 마지막 단계에서 모델은 문맥 전체를 반영한 벡터를 가지고, 다음에 올 수 있는 모든 단어에 확률을 매깁니다. 글 첫머리에서 본 확률 분포가 여기서 나옵니다. 여기까지가 영상이 설명한 LLM 작동 원리의 전체 경로입니다.

영상의 마지막 주장은 설명 가능성에 관한 것입니다. 모델의 구조는 연구자가 설계했지만, 실제로 어떤 출력을 내는지는 훈련으로 자동 조정된 파라미터가 결정합니다. 그래서 모델이 왜 그 단어를 골랐는지 설명하기는 매우 어렵다고 영상은 말합니다(영상 6:29). 그런데도 모델이 만든 글은 자연스럽고 유용하다는 말로 본편이 끝납니다.

영상이 설명한 성질은 AX(AI Transformation, 업무에 AI를 얹어 일하는 방식을 바꾸는 일)를 검토하는 조직이 도입 조건을 정할 때 다섯 가지 기준으로 이어집니다.

첫째, 출력이 확률에서 뽑히므로 같은 질문에 같은 답이 나온다고 가정하면 안 됩니다. 가장 확률이 높은 단어만 고르게 할지 무작위로 뽑게 할지는 모델을 쓸 때 정하는 설정이고, 생성 도구의 문서도 이 둘을 별개의 생성 방식으로 구분합니다(Hugging Face 생성 전략 문서). 결과가 매번 같아야 하는 업무라면 이 설정과 검증 절차를 도입 전에 점검해야 합니다.

둘째, 그럴듯한 문장과 사실인 문장은 다릅니다. 미국 국립표준기술연구소(NIST)의 생성형 AI 위험 관리 문서는 틀린 내용을 자신 있게 내놓는 현상을 ‘컨패뷸레이션(confabulation)’이라 부르고, 이것이 다음 단어를 통계적으로 예측하도록 설계된 생성 모델의 자연스러운 결과라고 적었습니다(NIST AI 600-1, 2024). 영상이 설명한 LLM 작동 원리와 같은 진단입니다. 사실 확인이 필요한 업무에는 근거 문서를 함께 넣어 주는 구성과 답을 대조하는 절차를 준비해야 합니다.

셋째, 모델이 내놓는 이유 설명을 그대로 근거로 삼기 어렵습니다. 같은 NIST 문서는 답이 틀렸는데도 모델이 그 답에 이른 논리 단계를 그럴듯하게 제시하는 경우가 있다고 경고합니다. 영상이 말한 ‘왜 그 단어를 예측했는지 설명하기 어렵다’는 한계와 맞닿은 대목입니다. 결과가 사람이나 비용에 영향을 주는 업무라면 사람이 확인하는 단계를 어디에 둘지 먼저 결정해야 합니다.

넷째, 모델에 일을 맡기는 범위가 넓어질수록 사람이 확인하는 횟수가 줄어든다는 점을 계산에 넣어야 합니다. 챗봇은 답 하나를 내고 멈추므로 다음에 무엇을 할지는 사람이 정합니다. 목표만 받고 여러 단계를 스스로 이어 가는 AI 에이전트에서는 담당자가 답을 읽고 다음 지시를 내리던 절차가 단계마다 빠지고, 잘못된 예측 하나가 그대로 다음 단계의 입력이 됩니다. 두 방식의 차이는 AI 에이전트와 챗봇의 차이를 다섯 가지 기준으로 정리한 글에서 이어서 읽을 수 있습니다.

다섯째, 검증 조건은 용도에 따라 나눠서 겁니다. 한 사람이 격리된 환경에서 해 보는 실험과 고객에게 나가는 응답을 만드는 일은 요구 수준이 다릅니다. 둘을 한 가지 기준으로 심사하면 실험이 서류에 막히거나, 대외 서비스가 실험 수준의 조건으로 통과합니다. 가벼운 조건은 넓게 걸고 무거운 조건은 필요한 용도에만 적용해야 합니다.

표의 왼쪽 열은 영상의 내용이고, 나머지 두 열은 글쓴이의 해석입니다.

LLM은 방대한 텍스트로 파라미터를 조정해 다음 단어의 확률을 계산하게 만든 함수이고, 답변은 그 계산을 한 단어씩 되풀이한 결과입니다.

LLM 작동 원리를 한 문장으로 설명하면 무엇인가요?

주어진 글 다음에 올 단어의 확률을 계산하고, 그중 하나를 골라 글 끝에 붙이는 일을 되풀이하는 것입니다. 영상은 LLM을 다음 단어를 예측하는 매우 정교한 수학적 함수라고 정의합니다. 챗봇의 긴 답변도 이 예측을 한 단어씩 이어 붙인 결과입니다.

같은 질문을 했는데 왜 답이 매번 다른가요?

모델이 단어 하나가 아니라 후보 단어들의 확률을 내놓고, 그중에서 고를 때 무작위성을 섞기 때문입니다. 가장 확률이 높은 단어만 고르지 않고 가끔 확률이 낮은 단어도 선택하게 하면 답이 더 자연스러워집니다. 모델 자체는 결정론적이지만 이 선택 단계 때문에 결과가 달라집니다.

파라미터는 무엇이고 왜 대규모라고 부르나요?

파라미터는 모델의 예측을 결정하는 숫자 값이며 가중치라고도 부릅니다. 영상은 이것을 다이얼에 빗대고, 그 수가 수백억에서 수천억 개에 이르기 때문에 대규모 언어 모델이라 부른다고 설명합니다. 값은 사람이 정하지 않고 훈련 과정에서 자동으로 조정됩니다.

사전 훈련과 RLHF는 어떻게 다른가요?

사전 훈련은 방대한 텍스트에서 다음 단어를 예측하도록 가르치는 단계이고, RLHF는 사람의 피드백으로 응답을 다듬는 단계입니다. RLHF에서는 사람이 잘못된 응답을 고치거나 더 나은 응답을 골라 줍니다. 그 결과 모델은 사용자가 선호하는 방향으로 예측하도록 조정됩니다.

트랜스포머와 어텐션은 무엇인가요?

트랜스포머는 2017년 구글 연구팀이 발표한 모델 구조로, 문장을 순서대로 읽지 않고 한꺼번에 병렬로 처리합니다. 어텐션은 그 안에서 단어 벡터들이 서로 정보를 주고받게 하는 연산입니다. 같은 단어라도 주변 문맥에 맞는 뜻을 갖도록 벡터를 조정합니다.

LLM이 왜 그런 답을 했는지 설명할 수 있나요?

영상은 모델이 왜 그 단어를 골랐는지 설명하기가 매우 어렵다고 말합니다. 모델의 구조는 연구자가 설계했지만 실제 출력은 훈련으로 자동 조정된 파라미터가 결정하기 때문입니다. 결과가 중요한 업무에는 사람이 확인하는 단계를 따로 두는 편이 안전합니다.

LLM 작동 원리만 알면 도입을 판단할 수 있나요?

LLM 작동 원리는 도입 판단의 출발점일 뿐 그것만으로 충분하지는 않습니다. 영상도 원리를 설명할 뿐 도입 방법은 다루지 않습니다. 출력이 확률에서 나오고 그 이유를 설명하기 어렵다는 성질을 먼저 받아들여야 합니다. 검증 절차와 사람 확인 단계, 근거 문서를 넣는 구성을 함께 검토해야 합니다.

LLM 작동 원리를 더 깊이 살펴볼 때 볼 원 영상과 인용 자료, 이어서 읽을 글을 모았습니다.

• LLM이란 무엇인가 — 원리부터 기업 도입 판단까지
• AX(AI 전환)란 무엇인가 — 정의부터 DX와의 차이, 추진 4단계까지
• AX 추진 전략과 로드맵 — 진단부터 전사 확산까지 단계별 가이드
• RAG란 무엇인가 — 파이프라인 해부와 도입 체크리스트 — 근거 문서를 넣어 주는 구성
• GraphRAG로 구현하는 정확한 엔터프라이즈 AI — LLM 환각 해결
• AI 가속기란 무엇인가? GPU, NPU, TPU 대세는?
• LLM 설명 (요약버전) — 3Blue1Brown 한국어 — 이 글이 정리한 원 영상
• Large Language Models explained briefly — 3Blue1Brown — 영어 원본 영상
• 3Blue1Brown 신경망 강의 모음 — 트랜스포머와 어텐션을 자세히 다룬 원본 시리즈
• Attention Is All You Need — 트랜스포머를 제안한 2017년 논문
• Language Models are Few-Shot Learners — GPT-3 논문
• Training language models to follow instructions with human feedback — 사람의 피드백을 이용한 훈련
• NIST AI 600-1 생성형 AI 프로파일 — 생성형 AI의 위험 분류와 관리 항목
• Hugging Face 생성 전략 문서 — 단어를 고르는 방식의 종류