Transformer model

순서	분석	단어	내용
1	일반 명사	Transformer	변화시키다, 가공하다, 개조하다
		Model	모형, 모델
		Transformer model	변화, 가공, 개조한 모형, 모델?
2	고유 명사	Transformer	병렬 처리와 attention 메커니즘을 통해 빠르고 정확한 학습이 가능한 자연어 처리 모델 아키텍처
		Model	인공 신경망에서 각 레이어의 구성, 연결 방식, 활성화 함수, 입력 및 출력 형태 등으로 이루어진 인공신경망
		Transformer model	Self-Attension 매커니즘을 사용해 시퀀스 데이터를 병렬로 처리하고, 단어 간의 관계를 빠르고 정확하게 학습할 수 있는 딥러닝 모델
3	사용 이유	Transformer model	Self-Attension 매커니즘을 통해 병렬 처리와 장기 의존성 학습이 가능해 뛰어난 성능과 유연성을 제공하기 때문에
4	사용 방법	Transformer model	1. 입력 데이터를 임베딩하고, Self-Attention과 Position-wise Feed-Forward 네트워크를 포함한 Transformer 블록을 구성합니다. 2. 여러 개의 Transformer 블록을 쌓아 인코더와 디코더를 만듭니다. 3. 출력 레이어를 추가하여 모델을 완성합니다.
5	다른 기술과의 비교	Transformer model	-

정의

일반 명사

Transformer	변화시키다, 가공하다, 개조하다
Model	모형, 모델
Transformer model	변화, 가공, 개조한 모형, 모델?

Transformer는 변화시키다, 가공하다, 개조하다 라는 뜻을 가지고 있습니다.

Mode은 모형, 모델 이라는 의미입니다.

Transformer model는 변화, 가공, 개조한 모형, 모델 이라고 유추해 볼 수 있습니다.

정말 그런지, 고유 명사를 한 번 살펴볼까요?

고유 명사

Transformer	병렬 처리와 attention 메커니즘을 통해 빠르고 정확한 학습이 가능한 자연어 처리 모델 아키텍처
Model	인공 신경망에서 각 레이어의 구성, 연결 방식, 활성화 함수, 입력 및 출력 형태 등으로 이루어진 인공신경망
Transformer model	Self-Attension 매커니즘을 사용해 시퀀스 데이터를 병렬로 처리하고, 단어 간의 관계를 빠르고 정확하게 학습할 수 있는 딥러닝 모델

딥러닝에서 Transformer는 병렬 처리와 attension 매커니즘을 통해 빠르고 정확한 학습이 가능한 자연어 처리 모델 아키텍처 입니다.

Model은 인공 신경망에서 각 레이어의 구성, 연결 방식, 활성화 함수, 입력 및 출력 형태 등으로 이루어진 인공신경망을 말합니다.

graph TD
    A[입력 시퀀스] --> B[임베딩 레이어]
    B --> C[위치 인코딩]
    C --> D[인코더]
    
    subgraph 인코더 레이어
        D1[셀프 어텐션]
        D1 --> D2[Add & Norm]
        D2 --> D3[피드 포워드]
        D3 --> D4[Add & Norm]
    end
    
    D --> |N개의 레이어| D1
    D4 --> E[인코딩된 표현]
    
    F[출력 시퀀스] --> G[임베딩 레이어]
    G --> H[위치 인코딩]
    H --> I[디코더]

    subgraph 디코더 레이어
        I1[마스킹된 셀프 어텐션]
        I1 --> I2[Add & Norm]
        I2 --> I3[인코더-디코더 어텐션]
        I3 --> I4[Add & Norm]
        I4 --> I5[피드 포워드]
        I5 --> I6[Add & Norm]
    end

    I --> |N개의 레이어| I1
    I6 --> J[디코딩된 표현]

    E --> I3
    
    J --> K[선형 레이어]
    K --> L[소프트맥스 레이어]
    L --> M[출력 확률]
Mermaid
복사

단계	설명
Input Sequence (입력 시퀀스)	입력 시퀀스가 임베딩 레이어를 통해 고차원 벡터로 변환됩니다.
Embedding Layer (임베딩 레이어)	입력 시퀀스를 임베딩하여 고차원 벡터로 변환합니다.
Positional Encoding (위치 인코딩)	임베딩된 벡터에 위치 정보를 추가하여 순서 정보를 제공합니다.
Encoder (인코더)	여러 개의 인코더 레이어로 구성되며, 각 레이어는 셀프 어텐션, Add & Norm, 피드 포워드, Add & Norm 순서로 이루어져 있습니다.
Self-Attention (셀프 어텐션)	인코더 레이어 내에서 입력 시퀀스의 각 요소가 다른 요소들과의 관계를 계산합니다.
Add & Norm (Add & Norm)	셀프 어텐션 또는 피드 포워드의 출력을 더하고 정규화합니다.
Feed Forward (피드 포워드)	각 위치마다 동일하게 적용되는 완전 연결 신경망을 통과합니다.
Encoded Representation (인코딩된 표현)	인코더에서 나온 최종 출력입니다.
Output Sequence (출력 시퀀스)	초기 출력 시퀀스가 임베딩 레이어를 통해 고차원 벡터로 변환됩니다.
Decoder (디코더)	여러 개의 디코더 레이어로 구성되며, 각 레이어는 마스킹된 셀프 어텐션, Add & Norm, 인코더-디코더 어텐션, Add & Norm, 피드 포워드, Add & Norm 순서로 이루어져 있습니다.
Masked Self-Attention (마스킹된 셀프 어텐션)	디코더 레이어 내에서 각 요소가 자신보다 앞선 요소들만 참조하도록 제한합니다.
Encoder-Decoder Attention (인코더-디코더 어텐션)	디코더가 인코더의 출력을 참조하여 출력 시퀀스를 생성합니다.
Decoded Representation (디코딩된 표현)	디코더에서 나온 최종 출력입니다.
Linear Layer (선형 레이어)	디코더의 출력을 선형 변환합니다.
Softmax Layer (소프트맥스 레이어)	출력 확률을 계산합니다.
Output Probabilities (출력 확률)	최종 출력 확률입니다.

•

Self-Attention (셀프 어텐션)

◦

입력 시퀀스의 각 요소가 다른 모든 요소들과의 관계를 계산하여 각 요소의 새로운 표현을 만듭니다.

◦

이를 통해 문맥 내의 단어 간 종속성을 파악합니다.

•

Add & Norm (Add & Norm)

◦

각 셀프 어텐션과 피드 포워드 층 이후에 적용됩니다.

◦

Add: 원래의 입력과 셀프 어텐션 또는 피드 포워드 층의 출력을 더합니다.

◦

Norm: 정규화(Normalization) 레이어를 적용하여 안정된 학습을 도모합니다. 주로 Layer Normalization을 사용합니다.

Transformer model은 Self-Attension 매커니즘을 사용해 시퀀스 데이터를 병렬로 처리하고, 단어 간의 관계를 빠르고 정확하게 학습할 수 있는 딥러닝 모델 입니다.

Transformer 모델은 딥러닝과 자연어 처리(NLP)에서 혁신적인 접근법을 제공합니다.

2017년 구글의 논문 "Attention is All You Need"에서 처음 제안되었으며, 그 이후로 많은 NLP 작업에서 중요한 역할을 하고 있습니다.

Transformer 모델은 입력 시퀀스를 병렬적으로 처리할 수 있는 구조를 가지고 있으며, 주로 두 가지 중요한 구성 요소인 인코더(Encoder)와 디코더(Decoder)로 이루어져 있습니다.

인코더는 입력 시퀀스를 인코딩하여 고차원 표현으로 변환하고, 디코더는 이 인코딩된 표현을 받아 원하는 출력 시퀀스를 생성합니다.

이 모델의 핵심은 "Self-Attention" 메커니즘입니다.

Self-Attention Mechanism

Self-Attention은 시퀀스의 각 요소가 다른 모든 요소와의 관계를 고려하여 자신을 다시 계산하는 메커니즘입니다.

이를 통해 문장 내 단어 간의 종속성을 효과적으로 파악할 수 있습니다.

Self-Attention은 Query, Key, Value 세 가지 행렬로 구성됩니다:

•

Query: 특정 단어의 정보 요청

•

Key: 각 단어의 특성을 나타내는 벡터

•

Value: 각 단어의 실제 값 벡터

Self-Attention의 계산 방식

Query와 Key의 행렬곱을 계산하여 각 단어 간의 유사도를 구합니다.

이 유사도를 Softmax 함수를 사용해 정규화합니다.

정규화된 값과 Value 행렬을 곱해 가중합을 계산합니다.

Multi-Head Attention

단일 Attention 메커니즘만 사용하는 대신 여러 개의 Attention 헤드를 병렬로 사용합니다.
이를 통해 모델은 다양한 표현 공간에서 정보를 추출할 수 있습니다.

각 헤드는 독립적으로 Self-Attention을 수행한 후, 이들의 출력을 결합합니다.

Position-wise Feed-Forward Networks

Self-Attention의 출력은 각 위치마다 동일하게 적용되는 완전 연결 신경망(Fully Connected Layer)을 통과합니다.
이 신경망은 두 개의 선형 변환과 그 사이에 ReLU 활성화 함수로 구성됩니다.

Position Encoding

시퀀스의 순서를 인코더와 디코더가 이해할 수 있도록 하는 위치 인코딩을 추가합니다.
이는 각 단어에 순서 정보를 더하는 방식으로, 주로 사인과 코사인 함수를 사용하여 계산합니다.

모델 구조

인코더

인코더는 입력 시퀀스를 받아 고차원 벡터로 변환하는 역할을 합니다.

이는 여러 개의 인코더 레이어로 구성되며, 각 레이어는 다음의 순서로 이루어져 있습니다.

순서	구성요소	설명
1	셀프 어텐션 (Self-Attention)	입력 시퀀스의 각 요소가 다른 요소들과의 관계를 계산하여 각 요소의 새로운 표현을 만듭니다.
2	Add & Norm	셀프 어텐션의 출력을 원래 입력에 더하고 정규화합니다. 이는 학습을 안정시키기 위한 것입니다.
3	피드 포워드 (Feed Forward)	각 위치마다 동일하게 적용되는 완전 연결 신경망을 통과합니다.
4	Add & Norm	피드 포워드의 출력을 원래 입력에 더하고 정규화합니다.

이 과정이 N개의 레이어로 반복되며, 최종적으로 인코더는 입력 시퀀스를 인코딩된 표현으로 변환합니다.

디코더

디코더는 인코딩된 표현을 받아서 출력 시퀀스를 생성하는 역할을 합니다.

이는 여러 개의 디코더 레이어로 구성되며, 각 레이어는 다음의 순서로 이루어져 있습니다.

순서	구성요소	설명
1	마스킹된 셀프 어텐션 (Masked Self-Attention)	디코더 레이어 내에서 각 요소가 자신보다 앞선 요소들만 참조하도록 제한합니다. 이는 예측할 때 미래의 정보를 보지 않도록 하기 위함입니다.
2	Add & Norm	마스킹된 셀프 어텐션의 출력을 원래 입력에 더하고 정규화합니다.
3	인코더-디코더 어텐션 (Encoder-Decoder Attention)	인코더에서 나온 인코딩된 표현을 참조하여 출력 시퀀스를 생성합니다.
4	Add & Norm	인코더-디코더 어텐션의 출력을 원래 입력에 더하고 정규화합니다.
5	피드 포워드 (Feed Forward)	각 위치마다 동일하게 적용되는 완전 연결 신경망을 통과합니다.
6	Add & Norm	피드 포워드의 출력을 원래 입력에 더하고 정규화합니다.

이 과정이 N개의 레이어로 반복되며, 최종적으로 디코더는 출력 시퀀스를 생성합니다.

Transformer 모델은 NLP뿐만 아니라 다양한 분야에서 사용되고 있으며, 그 유연성과 성능 덕분에 딥러닝 연구와 응용에서 중요한 역할을 하고 있습니다.

사용 이유

Transformer model

Self-Attension 매커니즘을 통해 병렬 처리와 장기 의존성 학습이 가능해 뛰어난 성능과 유연성을 제공하기 때문에

이유	설명
병렬 처리 가능성	Transformer는 입력 시퀀스를 병렬로 처리할 수 있어 학습 속도가 빠릅니다. 이는 순차적으로 처리해야 하는 RNN 계열의 모델들에 비해 큰 장점입니다.
장기 의존성 학습	Self-Attention 메커니즘을 통해 시퀀스 내의 먼 거리 단어 간의 관계도 효과적으로 학습할 수 있습니다. 이는 긴 문장이나 문맥을 이해하는 데 유리합니다.
유연성	Transformer는 다양한 자연어 처리(NLP) 작업에 적용될 수 있으며, 번역, 요약, 질의응답 등 여러 분야에서 탁월한 성능을 보입니다.

사용 방법

Transformer model

1. 입력 데이터를 임베딩하고, Self-Attention과 Position-wise Feed-Forward 네트워크를 포함한 Transformer 블록을 구성합니다. 2. 여러 개의 Transformer 블록을 쌓아 인코더와 디코더를 만듭니다. 3. 출력 레이어를 추가하여 모델을 완성합니다.

1. 라이브러리 임포트

import torch
import torch.nn as nn
import numpy as np
Python
복사

•

torch: PyTorch 라이브러리. 텐서 연산과 딥러닝 모델을 위한 기본 라이브러리입니다.

•

torch.nn: PyTorch의 신경망 모듈. 다양한 레이어와 손실 함수를 제공합니다.

•

numpy: 수치 계산을 위한 라이브러리. 배열 및 행렬 연산을 지원합니다.

2. 데이터 준비

# 데이터 준비
data = [
    [1, 2, 3, 4, 5, 6, 7, 8, 9],
    [2, 3, 4, 5, 6, 7, 8, 9, 10],
    [3, 4, 5, 6, 7, 8, 9, 10, 11],
]
data = torch.tensor(data, dtype=torch.float32)
inputs = data[:, :-1]
targets = data[:, 1:]
Python
복사

•

data: 간단한 시계열 데이터셋입니다.

•

torch.tensor(data, dtype=torch.float32): 데이터를 PyTorch 텐서로 변환하고, 데이터 타입을 float32로 설정합니다.

•

inputs: 입력 데이터. 각 시퀀스의 마지막 값을 제외한 나머지 부분입니다.

•

targets: 타겟 데이터. 각 시퀀스의 첫 번째 값을 제외한 나머지 부분입니다.

3. 모델 정의

# 모델 정의
class SimpleTransformer(nn.Module):
    def __init__(self, input_dim, model_dim, num_heads, num_layers, output_dim):
        super(SimpleTransformer, self).__init__()
        self.embedding = nn.Linear(input_dim, model_dim)
        self.transformer = nn.Transformer(d_model=model_dim, nhead=num_heads, num_encoder_layers=num_layers, num_decoder_layers=num_layers)
        self.fc_out = nn.Linear(model_dim, output_dim)

    def forward(self, src, tgt):
        src = self.embedding(src)
        tgt = self.embedding(tgt)
        output = self.transformer(src.permute(1, 0, 2), tgt.permute(1, 0, 2))
        output = self.fc_out(output.permute(1, 0, 2))
        return output

input_dim = 1
model_dim = 64
num_heads = 2
num_layers = 2
output_dim = 1

model = SimpleTransformer(input_dim, model_dim, num_heads, num_layers, output_dim)
Python
복사

•

__init__:

◦

input_dim: 입력 차원.

◦

model_dim: 모델의 차원(임베딩 차원).

◦

num_heads: 멀티헤드 어텐션에서의 헤드 수.

◦

num_layers: 인코더 및 디코더 레이어 수.

◦

output_dim: 출력 차원.

◦

self.embedding: 입력을 model_dim 차원으로 변환하는 선형 레이어.

◦

self.transformer: PyTorch의 Transformer 모델. 인코더와 디코더를 포함합니다.

◦

self.fc_out: Transformer의 출력을 output_dim 차원으로 변환하는 선형 레이어.

•

forward:

◦

src, tgt: 각각 소스 시퀀스와 타겟 시퀀스.

◦

permute(1, 0, 2): Transformer는 [seq_len, batch_size, feature_dim] 형식을 요구하므로 차원을 변경합니다.

◦

output: Transformer의 출력.

◦

self.fc_out(output): 최종 출력을 계산합니다.

4. 손실 함수와 옵티마이저 정의

# 손실 함수와 옵티마이저 정의
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
Python
복사

•

손실 함수: nn.MSELoss(). 평균 제곱 오차(MSE) 손실을 사용합니다.

•

옵티마이저: torch.optim.Adam을 사용하여 모델의 파라미터를 최적화합니다.

◦

model.parameters(): 모델의 파라미터를 전달합니다.

◦

lr=0.001: 학습률을 0.001로 설정합니다.

5. 학습 루프

# 학습 루프
num_epochs = 500  # 학습 횟수를 늘림

for epoch in range(num_epochs):
    model.train()
    optimizer.zero_grad()
    output = model(inputs.unsqueeze(-1), inputs.unsqueeze(-1))
    loss = criterion(output.squeeze(-1), targets)
    loss.backward()
    optimizer.step()

    if (epoch + 1) % 50 == 0:  # 로그 빈도 조정
        print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')
Python
복사

•

num_epochs = 500: 학습 에포크 수를 500으로 설정합니다.

•

model.train(): 모델을 학습 모드로 설정합니다.

•

optimizer.zero_grad(): 옵티마이저의 그래디언트를 초기화합니다.

•

inputs.unsqueeze(-1): 입력 데이터의 차원을 확장하여 [batch_size, seq_len, feature_dim] 형식으로 만듭니다.

•

output = model(inputs.unsqueeze(-1), inputs.unsqueeze(-1)): 모델에 입력을 전달하여 출력을 얻습니다.

•

loss = criterion(output.squeeze(-1), targets): 손실을 계산합니다.

•

loss.backward(): 역전파를 통해 그래디언트를 계산합니다.

•

optimizer.step(): 옵티마이저가 파라미터를 업데이트합니다.

•

if (epoch + 1) % 50 == 0: 50 에포크마다 손실을 출력합니다.

6. 예측하기

# 예측하기
model.eval()
new_input = torch.tensor([[4, 5, 6, 7, 8, 9, 10, 11]], dtype=torch.float32)

with torch.no_grad():
    predicted = model(new_input.unsqueeze(-1), new_input.unsqueeze(-1))
    print(f'Input: {new_input.numpy()}')
    print(f'Predicted: {predicted.squeeze(-1).numpy()}')
Python
복사

•

model.eval(): 모델을 평가 모드로 설정합니다.

•

new_input: 새로운 입력 데이터를 생성합니다.

•

torch.no_grad(): 예측 시에는 그래디언트를 계산하지 않도록 설정합니다.

•

new_input.unsqueeze(-1): 입력 데이터의 차원을 확장합니다.

•

predicted = model(new_input.unsqueeze(-1), new_input.unsqueeze(-1)): 모델에 입력을 전달하여 예측을 수행합니다.

•

print(f'Input: {new_input.numpy()}'): 입력 데이터를 출력합니다.

•

print(f'Predicted: {predicted.squeeze(-1).numpy()}'): 예측 결과를 출력합니다.

Google Colab

https://colab.research.google.com/drive/1C3L3QQgWa5PYOCWQ0jh-pnMm38ynfHub?authuser=1#scrollTo=5RblYhPIuQnW

알아 두면 좋은 정보

트랜스포머의 인코딩, 디코더

입력 시퀀스 (Input Sequence)

입력 시퀀스는 모델이 처리할 데이터입니다.

예를 들어, 자연어 처리 작업에서는 문장이나 단어의 시퀀스가 입력으로 사용됩니다.

Transformer 모델에서는 입력 시퀀스가 인코더의 입력으로 들어갑니다.

예시

•

기계 번역: 영어 문장을 프랑스어로 번역할 때, 입력 시퀀스는 영어 문장입니다.

•

텍스트 요약: 긴 문장을 요약할 때, 입력 시퀀스는 긴 문장입니다.

•

질문 응답: 질문에 답변할 때, 입력 시퀀스는 질문과 관련된 문서입니다.

출력 시퀀스 (Output Sequence)

출력 시퀀스는 모델이 예측하거나 생성하는 데이터입니다.

자연어 처리 작업에서는 출력 시퀀스가 모델의 최종 결과물입니다.

Transformer 모델에서는 디코더가 인코딩된 표현을 받아 출력 시퀀스를 생성합니다.

예시

•

기계 번역: 영어 문장을 프랑스어로 번역할 때, 출력 시퀀스는 프랑스어 문장입니다.

•

텍스트 요약: 긴 문장을 요약할 때, 출력 시퀀스는 요약된 문장입니다.

•

질문 응답: 질문에 답변할 때, 출력 시퀀스는 질문에 대한 답변입니다.

Transformer 모델에서의 흐름

입력 시퀀스 처리: 입력 시퀀스는 인코더로 들어갑니다.

•

인코더는 입력 시퀀스를 고차원 벡터로 인코딩하여 인코딩된 표현을 생성합니다.

인코딩된 표현 처리: 인코딩된 표현은 디코더로 전달됩니다.

•

디코더는 이 인코딩된 표현을 참조하여 출력 시퀀스를 생성합니다.

출력 시퀀스 생성: 디코더는 출력 시퀀스의 각 요소를 순차적으로 예측합니다.

•

디코더는 이전에 생성된 요소들을 참조하면서 다음 요소를 예측합니다.

구체적인 예시: 기계 번역

•

입력 시퀀스: "Hello, how are you?" (영어 문장)

•

인코딩된 표현: 인코더가 이 영어 문장을 고차원 벡터로 변환하여 디코더로 전달합니다.

•

출력 시퀀스: "Bonjour, comment ça va?" (프랑스어 문장)

인코더와 디코더의 역할 요약

•

인코더

◦

입력 시퀀스를 인코딩하여 고차원 벡터 표현을 생성합니다.

◦

이 벡터 표현은 입력 시퀀스의 의미와 문맥을 포함합니다.

•

디코더

◦

인코더의 벡터 표현을 입력으로 받아 출력 시퀀스를 생성합니다.

◦

출력 시퀀스의 각 요소를 순차적으로 예측하며, 이전에 생성된 요소들을 참조합니다.

그림으로 설명

graph TD
    A[입력 시퀀스: 'Hello, how are you?'] --> B[임베딩 레이어]
    B --> C[위치 인코딩]
    C --> D[인코더]
    D --> E[인코딩된 표현: 벡터]
    E --> F[디코더]
    F --> G[출력 시퀀스: 'Bonjour, comment ça va?']
Mermaid
복사

입력 시퀀스 -> 인코더:

•

입력: "Hello, how are you?"

•

인코더 출력: 인코딩된 표현 (벡터)

인코딩된 표현 -> 디코더:

•

디코더 입력: 인코딩된 표현

•

출력 시퀀스: "Bonjour, comment ça va?"