트랜스포머 원리, 챗GPT를 만든 어텐션 구조와 AI 도입 기준

TL;DR — 트랜스포머는 단어를 순서대로 읽던 방식을 버리고 어텐션만 남긴 신경망 구조입니다. 이 구조가 GPU 병렬 학습을 열었고, 챗GPT를 거쳐 이미지·음성·로봇까지 오늘날 AI 전반의 기반이 됐습니다.

생성형 AI 도입을 검토하는 기업 IT 담당자라면 챗GPT의 T, 곧 트랜스포머가 무엇인지부터 짚어야 합니다. 이 글은 그 판단을 돕기 위해 유튜브 채널 미주일기가 공개한 영상 「챗GPT의 근본이 된 트랜스포머의 탄생과 발전」(11분 53초)을 장면 9개로 나눠, 2017년 등장한 이 구조가 어떤 한계를 풀었고 어떤 방식으로 AI 전반의 설계도가 됐는지 정리했습니다.

미주일기의 이 영상은 2017년 구글 논문 한 편에서 출발해 챗GPT와 노벨 화학상까지, 이 구조가 지나온 길을 시간 순서로 따라갑니다.

영상에서 다루는 순서는 다음과 같습니다.

• 도입: 2017년 6월 공개된 논문 「Attention Is All You Need」 (0:00)
• 순서대로 읽는 기계의 한계 (1:25)
• 어텐션만 남긴 새 구조 (3:29)
• 오픈AI의 결단과 GPT의 탄생 (6:15)
• 글을 넘어 모든 AI의 설계도로 (8:17)
• 결론: 증기기관과 내연기관 비유, 그리고 남은 과제 (9:59)

영상의 설명을 질문으로 바꾸면 아홉 가지입니다. 아래 아홉 개 절이 이 순서대로 답합니다.

1. 이 구조는 언제, 누가, 어떤 논문으로 내놓았는가?
2. 그 이전의 순환 신경망은 왜 긴 문장에 약했는가?
3. GPU를 늘려도 번역 모델 학습이 빨라지지 않은 까닭은 무엇인가?
4. 셀프 어텐션은 단어 사이의 관계를 어떻게 계산하는가?
5. 멀티헤드 어텐션은 무엇을 더했는가?
6. 오픈AI는 이 구조로 GPT를 어떻게 만들었는가?
7. 번역용 구조가 어떻게 챗GPT로 이어졌는가?
8. 어텐션 구조는 어떻게 이미지·음성·로봇으로 퍼졌는가?
9. 이 구조는 어떤 의미가 있고, 어떤 한계가 남았는가?

트랜스포머는 2017년 6월 12일 구글 연구자 여덟 명이 논문 저장소에 공개한 기계 번역 논문에서 처음 제안됐습니다. 논문 제목은 비틀스의 노래 「All You Need Is Love」를 빗댄 「Attention Is All You Need」, 곧 어텐션만 있으면 된다는 뜻입니다.

영상에 따르면 저자들은 마감 며칠 전까지 제목을 정하지 못했고, 공저자 라이언 존스(Llion Jones)가 5초 만에 이 이름을 떠올렸습니다. 논문의 핵심은 단순했습니다. 번역을 잘하려면 단어를 처음부터 하나씩 처리할 것이 아니라 문장 속 단어들이 서로 맺는 관계에 주목해야 한다는 것입니다. 저자들은 이를 위해 기존의 순환 신경망과 합성곱을 걷어내고 어텐션만으로 이루어진 새 구조를 제안했습니다.

▲ 2017년 6월 12일 공개된 트랜스포머 논문 (영상 0:01)

캡처는 논문 첫 쪽입니다. 제목 아래 저자 여덟 명의 이름과 소속이 있고, 오른쪽 아래에 공개 날짜 「2017년 6월 12일」이 붙어 있습니다.

당시 구글 경영진도 이 논문을 흥미로운 연구 과제 가운데 하나쯤으로 여겼다고 영상은 전합니다. 그러나 이 논문은 지금까지 29만 4,000번 넘게 인용됐고, 챗GPT의 GPT(Generative Pre-trained Transformer) 마지막 글자 T가 바로 이 구조를 가리킵니다.

2017년 이전에 번역 같은 언어 처리를 맡던 대표 구조는 순환 신경망(RNN, 단어를 차례로 읽으며 앞 단어의 정보를 다음 단어로 넘기는 신경망)입니다. 이 구조는 문장이 길어지면 앞부분의 정보가 뒤로 갈수록 흐려져, 멀리 떨어진 단어 사이의 관계를 제대로 배우지 못했습니다.

순환 신경망은 왼쪽에서 오른쪽으로 단어를 하나씩 읽고, 앞 단어에서 얻은 정보를 다음 단어로 넘겨 줍니다. 영상은 이 약점을 줄이려는 시도 두 가지를 소개합니다. 1990년대 후반에는 정보를 더 오래 기억하도록 고친 LSTM(Long Short-Term Memory)이 나왔고, 2014년에는 조경현 교수와 요슈아 벤지오 교수 연구팀이 번역할 때 원문의 어느 부분에 집중할지 정하는 어텐션 기법을 내놓았습니다.

▲ 단어를 하나씩 차례로 넘기는 순환 신경망 (영상 1:40)

캡처에는 「동물이 밤새 먼 산길을 걸어와서 너무…」라는 문장의 단어가 한 줄로 서 있고, 빨간 화살표가 왼쪽에서 오른쪽으로 단어를 하나씩 지나갑니다. 문장이 길어질수록 맨 앞 단어의 정보가 뒤쪽까지 온전히 전해지기 어렵다는 점을 보여 줍니다.

당시 어텐션 기법이 필요했던 까닭도 영상이 설명합니다. 입력 문장 전체를 정해진 크기의 벡터 하나에 담아야 해서, 문장이 길면 번역 품질이 급격히 떨어졌습니다. 어텐션은 번역할 때마다 원문에서 필요한 부분을 다시 살피게 해 이 부담을 덜었습니다. 구글은 두 기술을 묶어 2016년 9월 신경망 기계 번역을 내놓았고, 11월에는 한국어를 포함한 여덟 개 언어 쌍으로 넓혔습니다. 기존 번역기보다 오류를 평균 60% 줄여, 구글은 지난 10년의 발전을 합친 것보다 이번 한 번의 개선 폭이 더 크다고 발표했습니다.

번역 품질은 좋아졌지만 단어를 순서대로 하나씩 처리하는 한계는 그대로였습니다. 앞 단어의 계산이 끝나야 다음 단어로 넘어갈 수 있으니, GPU를 여러 장 써도 계산을 동시에 나눠 처리할 수 없었습니다.

GPU(그래픽 처리 장치)는 많은 계산을 한꺼번에 해내는 데 강한 칩입니다. 그런데 순환 신경망은 계산이 앞에서 뒤로 줄지어 있어 이 장점을 살리지 못했습니다. 영상이 든 수치가 이를 보여 줍니다.

▲ GPU 96장으로 6일 걸린 번역 모델 학습 (영상 3:14)

캡처 위쪽 문장은 「6 days to train a basic model using 96 NVIDIA K80 GPUs」입니다. 당시 구글은 기본 번역 모델 하나를 학습시키는 데 엔비디아 K80 GPU 96장을 쓰고도 6일이 걸렸습니다. 아래 격자는 그 GPU 96장을 나타냅니다.

논문 공저자 야코프 우스코라이트(Jakob Uszkoreit)는 당시의 방식이 임시방편에 가까워 규모를 제대로 키울 수 없었다고 돌아봤습니다. 그래서 연구자들은 질문을 바꿨습니다. 단어를 순서대로 처리하지 않고도 번역할 수 있을까? 답은 순환 신경망을 아예 빼고, 거기에 덧붙여 쓰던 어텐션만 남기는 것이었습니다. 받아들인 정보를 변환한다는 뜻에서 연구 첫날부터 트랜스포머라고 불렀습니다.

두 구조의 차이를 표로 정리했습니다.

이 구조의 중심 장치는 셀프 어텐션(self-attention, 문장 안의 각 단어를 다른 모든 단어와 비교해 관련 정도를 점수로 매기는 계산)입니다. 이 점수만큼 다른 단어의 정보를 섞어 각 단어의 뜻을 문맥에 맞게 다시 만듭니다.

순서대로 읽지 않으면 단어의 순서를 알 수 없으므로, 먼저 각 단어의 자리에 위치 정보를 더합니다. 그런 다음 문장 전체를 한 번에 받아들여 단어끼리 서로 얼마나 관련 있는지 점수를 매기고, 이 과정을 여러 층에 걸쳐 반복합니다.

▲ 모든 단어를 서로 비교하는 셀프 어텐션 (영상 4:20)

캡처의 영어 문장 「I arrived at the bank after crossing the river」에는 단어마다 1부터 9까지 번호가 붙어 있고, 모든 단어가 곡선으로 서로 이어져 있습니다. 번호는 위치 정보를, 곡선은 단어끼리 매긴 관련 점수를 뜻합니다.

영상은 이 문장으로 셀프 어텐션의 효과를 설명합니다. 영어 단어 bank는 은행과 강둑이라는 두 뜻을 가집니다. 트랜스포머는 문장 어딘가에 river(강)가 있으면 그 사이의 단어를 일일이 거치지 않고 단 한 단계 만에 river에 주목해 bank가 강둑이라는 것을 알아냅니다. 순환 신경망이라면 bank에서 river까지 여러 단계를 거치며 정보가 흐려졌을 자리입니다.

논문은 어텐션 하나에 그치지 않고 어텐션 여덟 개를 나란히 돌리는 멀티헤드 어텐션을 적용했습니다. 각 어텐션이 서로 다른 관점에서 단어 관계를 살펴, 한 번의 계산으로 여러 종류의 문법·의미 관계를 함께 잡아냅니다.

영상에 따르면 어떤 어텐션은 멀리 떨어진 단어의 연결을 보고, 다른 어텐션은 대명사가 무엇을 가리키는지 찾아냅니다. 사람이 문장을 읽을 때 주어와 서술어, 수식 관계, 지시 대상을 동시에 파악하는 것과 비슷한 분업입니다.

▲ 여러 각도로 관계를 보는 멀티헤드 어텐션 (영상 4:57)

캡처에는 돋보기 세 개가 나란히 있습니다. 왼쪽은 making과 difficult처럼 떨어진 단어를 잇고, 가운데는 「대명사」라는 표시와 함께 it을 animal에 연결하며, 오른쪽은 여러 단어를 한꺼번에 묶습니다. 돋보기 하나가 어텐션 헤드 하나입니다.

영상이 든 번역 사례가 이 차이를 보여 줍니다. 「동물이 너무 피곤해서 길을 건너지 못했다」와 「길이 너무 넓어서 건너지 못했다」에서 대명사 it이 동물인지 길인지를 당시 구글 번역은 가려내지 못했습니다. 트랜스포머는 두 문장을 모두 프랑스어로 정확히 번역했습니다.

성능도 수치로 드러났습니다. 앞 단어의 계산을 기다리지 않고 행렬 곱셈으로 한꺼번에 처리하자 GPU의 병렬 연산을 온전히 쓸 수 있게 됐고, 학습 속도는 최대 10배 빨라졌습니다. 기본 모델은 GPU 8장으로 12시간만 학습하고도 이전의 모든 모델을 앞질렀고, 대형 모델은 3일 반 동안 학습해 영어-독일어, 영어-프랑스어 번역에서 모두 새 최고 기록을 세웠습니다. 논문 공개 반년 뒤인 2017년 12월 학회 현장에는 보안 요원이 자리를 비워 달라고 할 만큼 연구자가 몰렸고, LSTM을 만든 제프 호흐라이터(Sepp Hochreiter) 교수도 찾아와 연구를 칭찬했습니다.

구글이 내놓은 새 구조를 가장 빨리 받아들인 곳은 오픈AI였습니다. 오픈AI는 그 가운데 글을 생성하는 디코더만 여러 겹 쌓은 언어 모델을 2018년 6월 발표했고, 이것이 첫 GPT입니다.

당시 오픈AI에서 순환 신경망으로 다음 단어를 예측하는 연구를 하던 일리야 수츠케버(Ilya Sutskever)는 트랜스포머가 긴 문맥을 배우지 못하는 순환 신경망의 한계를 풀었다는 점이 한눈에 보였다며, 곧바로 모델을 트랜스포머로 바꿨다고 회고했습니다. 번역기로 설계된 트랜스포머는 원문을 읽는 인코더와 번역문을 한 단어씩 써 나가는 디코더로 이루어져 있었는데, 오픈AI는 그 가운데 디코더 쪽만 가져왔습니다.

▲ 디코더만 쌓은 오픈AI의 첫 GPT (영상 7:04)

캡처에는 파란 판이 여러 겹 쌓인 탑이 있고 옆에 「트랜스포머」라고 적혀 있습니다. 디코더 블록을 여러 겹 쌓은 구조를 나타냅니다.

이 모델은 출간되지 않은 책 7,000권 분량이 넘는 글로, 앞에 나온 단어들을 보고 다음 단어를 맞히도록 사전 학습했습니다. 같은 조건에서 트랜스포머 대신 LSTM을 쓰자 평균 점수가 5.6점 떨어졌을 만큼 두 구조의 차이는 뚜렷했습니다. 그해 10월 구글은 언어 모델 BERT 논문을 발표하면서 오픈AI의 이 모델을 생성형 사전 학습 트랜스포머, 곧 OpenAI GPT라고 불렀습니다.

영상은 BERT가 GPT와 반대쪽을 택했다는 점도 짚습니다. 글을 써 내려가는 GPT와 달리 BERT는 인코더로 문장을 읽고 이해하는 모델입니다. 덕분에 구글은 2019년 10월부터 미국 내 영어 검색 열 건 가운데 한 건꼴로 검색어를 더 정확히 이해하게 됐습니다.

오픈AI는 앞 단어를 보고 다음 단어를 맞힌다는 단순한 학습 목표는 그대로 둔 채 모델의 크기를 키웠습니다. 그 끝에 2022년 11월 30일 챗GPT가 나왔고, 번역을 위해 만든 구조가 사람과 대화하는 AI의 바탕이 됐습니다.

영상이 정리한 흐름은 다음과 같습니다. 2019년 매개변수 15억 개의 GPT-2, 2020년 1,750억 개의 GPT-3가 나왔고, 2022년에는 사람의 평가를 바탕으로 모델이 지시에 맞게 답하도록 다듬었습니다. 매개변수는 모델이 학습하며 조정하는 숫자 값으로, 개수가 모델 규모를 가늠하는 기준이 됩니다.

▲ 번역 구조에서 대화형 AI로 (영상 8:12)

캡처 왼쪽에는 디코더 블록을 쌓은 탑이 있고, 가운데 「가 → A」 카드가 번역을 뜻합니다. 오른쪽에는 ChatGPT라는 글자 아래 말풍선이 오갑니다. 같은 구조가 번역에서 대화로 쓰임새를 옮겼다는 뜻입니다.

챗GPT는 공개 닷새 만에 사용자 100만 명을 넘겼습니다. 이 대목에서 도입을 검토하는 쪽이 눈여겨볼 점이 있습니다. 챗GPT의 능력은 새로운 학습 목표에서 나온 것이 아니라, 다음 단어 예측이라는 같은 목표를 트랜스포머 위에서 규모와 사람의 평가로 키운 결과라는 점입니다. 모델을 고를 때 구조보다 규모와 후속 학습 방식을 먼저 비교하게 되는 까닭이 여기에 있습니다.

이 구조는 언어 모델에서 멈추지 않았습니다. 이미지나 소리 같은 데이터도 단어 조각, 곧 토큰처럼 잘게 나누어 넣으면 같은 구조로 처리할 수 있었고, 이 방식이 AI 전반의 기본 설계도가 됐습니다.

영상에 따르면 이 확장은 2017년 논문에 이미 계획으로 적혀 있었습니다. 저자들은 결론의 한 문장에 유독 공을 들였는데, 트랜스포머를 글자 밖으로 넓혀 이미지·오디오·비디오처럼 크기가 큰 데이터도 효율적으로 다루겠다는 내용입니다.

▲ 논문 결론에 적힌 이미지·오디오·비디오 확장 계획 (영상 8:40)

캡처 위쪽은 논문 결론 단락이고, 「images, audio and video」에 노란 표시가 있습니다. 아래에는 이미지·오디오·비디오를 뜻하는 사진 세 장이 놓여 있습니다.

이 계획은 몇 년 안에 실현됐습니다. 영상이 든 사례를 표로 정리했습니다.

알파폴드 2의 단백질 구조 예측 연구로 딥마인드의 데미스 허사비스와 존 점퍼는 2024년 노벨 화학상을 받았습니다. 영상은 오픈AI의 GPT 시리즈부터 구글의 제미나이, 앤트로픽의 클로드까지 지금 쓰이는 주요 AI 모델이 모두 2017년 그 논문의 트랜스포머에 기반을 두고 있다고 말합니다.

공저자 노암 셰이저(Noam Shazeer)는 순환 신경망을 증기기관에, 트랜스포머를 효율이 훨씬 높아진 내연기관에 비유했습니다. 증기기관으로도 산업혁명은 가능했겠지만 고생스러웠을 것이고, 내연기관이 나오며 모든 일이 훨씬 잘 풀렸다는 뜻입니다.

이 비유가 나온 자리는 2024년 3월 엔비디아 GTC 개발자 회의입니다. 논문 저자 일곱 명이 무대에 다시 나란히 앉았고, 젠슨 황은 저자들에게 건넨 선물에 「여러분이 세상을 바꿨다」는 문구를 새겼습니다.

▲ 순환 신경망은 증기기관, 트랜스포머는 내연기관 (영상 10:19)

캡처 왼쪽은 「순환 신경망 = 증기기관」으로 공장 그림 아래 단어 상자가 한 줄로 이어지고, 오른쪽은 「트랜스포머 = 내연기관」으로 실린더 네 개가 단어 상자를 한꺼번에 처리합니다.

그러나 이 엔진에도 약점이 있습니다. 영상이 짚는 한계는 모든 단어를 서로 비교하는 구조 자체에서 나옵니다. 입력 길이가 두 배가 되면 계산량과 메모리 사용량은 네 배로 늘어납니다. 긴 문서를 한꺼번에 넣는 업무일수록 비용이 빠르게 커지는 이유입니다. 같은 대담에서 공저자 에이단 고메스(Aidan Gomez)는 세상에는 지금 구조보다 나은 것이 필요하다며, 새로운 성능 단계로 이끌 후속 기술이 나오기를 바란다고 말했습니다.

영상의 결론은 이렇습니다. 언젠가 이를 넘어서는 기술이 나올 수 있습니다. 하지만 번역의 한계를 넘으려고 단어를 순서대로 처리하는 방식을 버리고 어텐션만 남긴 2017년의 발상은 글을 넘어 이미지·음성·영상·로봇, 노벨상을 받은 단백질 구조 예측까지 오늘날 AI 거의 모든 영역의 기반이 됐습니다.

트랜스포머는 단어를 순서대로 읽던 순환 신경망을 버리고 어텐션만 남겨 GPU 병렬 학습을 가능하게 한 구조이며, 이 한 가지 발상이 GPT와 챗GPT를 거쳐 이미지·음성·로봇까지 AI 전반의 설계도가 됐습니다.

트랜스포머란 무엇인가요?

2017년 구글 연구자들이 제안한 신경망 구조입니다. 단어를 순서대로 처리하던 순환 신경망을 버리고 어텐션만으로 문장 속 단어 관계를 계산해, 챗GPT를 비롯한 오늘날 주요 AI 모델의 기반이 됐습니다.

챗GPT의 GPT는 무슨 뜻인가요?

Generative Pre-trained Transformer, 곧 생성형 사전 학습 트랜스포머의 줄임말입니다. 마지막 글자 T가 트랜스포머를 가리키며, 오픈AI가 2018년 트랜스포머의 디코더만 쌓아 만든 언어 모델에서 이름이 시작됐습니다.

셀프 어텐션은 어떻게 작동하나요?

문장 안의 각 단어를 다른 모든 단어와 비교해 관련 정도를 점수로 매기고, 그 점수만큼 다른 단어의 정보를 섞어 단어의 뜻을 문맥에 맞게 다시 만듭니다. 이 과정을 여러 층에 걸쳐 반복합니다.

트랜스포머는 순환 신경망보다 무엇이 나은가요?

문장 전체를 한 번에 받아들여 먼 단어 사이의 관계를 한 단계 만에 잡고, 행렬 곱셈으로 한꺼번에 계산해 GPU 병렬 처리를 온전히 씁니다. 논문 기준 학습 속도는 최대 10배 빨라졌습니다.

GPT와 BERT는 어떻게 다른가요?

둘 다 트랜스포머에서 나왔지만 쓰는 부분이 다릅니다. GPT는 디코더를 쌓아 다음 단어를 생성하고, BERT는 인코더로 문장을 읽고 이해합니다.

트랜스포머는 언어 말고 어디에 쓰이나요?

이미지·음성·영상·로봇·단백질 구조 예측에 쓰입니다. 데이터를 토큰처럼 조각내 넣는 방식으로 비전 트랜스포머, 위스퍼, 소라, RT-2, 알파폴드 2가 만들어졌습니다.

트랜스포머의 한계는 무엇인가요?

모든 단어를 서로 비교하는 구조라 입력 길이가 두 배가 되면 계산량과 메모리 사용량이 네 배로 늘어납니다. 논문 저자들도 트랜스포머를 넘어설 후속 기술이 필요하다고 말합니다.

트랜스포머를 더 깊이 살펴볼 때 볼 원 영상과 이어서 읽을 글, 원문 논문을 모았습니다.

• 인공지능(AI)이란 무엇인가요? — AI의 뜻·종류·작동 원리를 한 번에 정리한 글
• LLM 작동 원리, 8분 동영상으로 보는 AI 개념 이해 — 다음 단어 예측과 어텐션을 영상 캡처로 풀어 쓴 글
• AI 종류 총정리와 일곱 가지 분류 기준 — 생성형 AI를 포함한 AI 분류와 선택 기준
• LLM이란 무엇인가 — 원리부터 기업 도입 판단까지
• LLM이란? ChatGPT와 뭐가 다른지 쉽게 정리 — LLM과 챗GPT의 관계
• 생성형 AI 진화 4단계 — LLM에서 에이전트까지 이어지는 흐름
• 생성형 AI 파운데이션 모델 기반 업무 활용 사례와 도입 — 업무 적용 사례
• 챗GPT의 근본이 된 트랜스포머의 탄생과 발전 — 미주일기, 이 글이 정리한 원 영상
• Attention Is All You Need (Vaswani 외, 2017) — 트랜스포머 원 논문
• Improving Language Understanding by Generative Pre-Training (GPT-1, 2018) — 오픈AI의 첫 GPT 논문
• BERT (Devlin 외, 2018) — 트랜스포머 인코더 기반 언어 모델
• An Image is Worth 16×16 Words (Dosovitskiy 외, 2020) — 비전 트랜스포머 논문
• Language Models are Few-Shot Learners (GPT-3, 2020) — 1,750억 매개변수 GPT-3 논문
• Highly accurate protein structure prediction with AlphaFold — 알파폴드 2 논문