GAN (Generative Adversarial Network)

순서	분석	단어	내용
1	일반 명사	Generative	발생의, 생성의
		Adversarial	적대적인
		Network	망
		GAN	적대적인 생성 망
2	고유 명사	GAN	두 신경망이 경쟁적으로 학습하여, 하나는 데이터를 생성하고 다른 하나는 이를 판별하며 서로의 성능을 개선하는 딥러닝 모델
3	사용 이유	GAN	실제와 유사한 데이터를 생성하기 위해서
4	사용 방법	GAN	생성자(Generator)가 데이터를 생성하고, 판별자(Discriminator)가 이를 진짜 또는 가짜로 구분하는 과정을 반복하며 학습
5	다른 기술과의 비교	GAN	-

GAN(Generative Adversarial Network)의 정의

일반 명사

Generative	발생의, 생성의
Adversarial	적대적인
Network	망
GAN	적대적인 생성 망

Generative는 발생의, 생성의 라는 뜻을 가지고 있습니다.

Adversarial은 적대적인, Network는 망이라는 의미를 가지고 있습니다.

Generative Adversarial Network(이하 GAN)의 뜻을 유추해보면, 적대적인 생성 망이라고 추측해 볼 수 있습니다.

고유 명사를 한 번 살펴볼까요?

고유 명사

GAN	두 신경망이 경쟁적으로 학습하여, 하나는 데이터를 생성하고 다른 하나는 이를 판별하며 서로의 성능을 개선하는 딥러닝 모델

GAN은 두 신경망이 경쟁적으로 학습하여, 하나는 데이터를 생성하고 다른 하나는 이를 판별하며 서로의 성능을 개선하는 딥러닝 모델입니다.

GAN은 위조자(생성자)와 판별자로 나뉘어 위조자(생성자)는 계속해서 위조를 하고, 판별자는 진짜 데이터와 대조해서 입력된 데이터가 진짜인지 가짜인지를 판별해 학습을 진행하는 신경망 모델입니다.

GAN 구성 요소

graph LR
    A[랜덤 노이즈 z] --> B[Generator]
    B --> C[가짜 이미지]
    C --> D[Discriminator]
    D --> E[분류: 진짜 또는 가짜]
    E -->|가짜| F[Generator로 Backpropagation]
    E -->|진짜| G[진짜 이미지 분류]
    G --> H[진짜 데이터로 학습]
    H --> D
    F --> B
Mermaid
복사

•

백그라운드 컬러 : 빨간색 > 모델

•

백그라운 컬러 : 노란색 > 데이터

요소	설명
랜덤 노이즈 z	- Generator에 입력으로 제공되는 임의의 노이즈 벡터 - 이를 통해 새로운 가짜 이미지를 생성하는 기반 데이터가 됨
Generator	- 랜덤 노이즈를 입력받아 가짜 이미지를 생성하는 모델 - Discriminator를 속이기 위해 가능한 실제 같은 이미지를 생성하려고 학습함
가짜 이미지	- Generator가 생성한 가짜 이미지 - Discriminator는 이를 진짜인지 가짜인지 판별함
Discriminator (식별하는 사람)	- 진짜 이미지와 가짜 이미지를 구분하는 판별 모델 - 진짜 이미지는 "진짜"로, 가짜 이미지는 "가짜"로 분류하는 역할을 함
분류: 진짜 또는 가짜	- Discriminator가 이미지에 대해 진짜인지 가짜인지 판단하는 단계 - 진짜 이미지는 진짜로, 가짜 이미지는 가짜로 분류함
Generator로 Backpropagation	- Discriminator가 가짜 이미지를 가짜로 분류한 결과를 바탕으로, Generator는 자신이 생성한 이미지의 품질을 향상시키기 위해 백프로파게이션으로 학습함
진짜 이미지 분류	- 진짜 이미지를 입력으로 받아 Discriminator가 이를 진짜로 판별하는 과정
진짜 데이터로 학습	- Discriminator가 진짜 이미지를 사용하여 학습하는 과정 - 진짜와 가짜 데이터를 모두 학습하여 판별 능력을 향상시킴

노이즈 벡터가 뭐예요?

노이즈 벡터는 GAN에서 중요한 개념인데, 쉽게 설명하면 임의의 랜덤한 숫자들로 이루어진 벡터입니다.

이 벡터는 Generator가 학습을 통해 이미지를 생성할 때 출발점이 되는 데이터입니다.

노이즈 벡터는 고정된 데이터나 실제 이미지가 아니라, Generator가 매번 새로운 이미지를 생성할 수 있도록 다양한 입력을 제공하는 역할을 합니다.

이 벡터는 보통 정규분포에서 무작위로 생성된 값들로 이루어져 있으며, 잠재 공간(latent space)에서 샘플링된다고도 표현합니다.

Generator는 이 노이즈 벡터를 입력으로 받아, 이를 기반으로 가짜 이미지를 생성합니다.

왜 노이즈 벡터를 사용할까?

매번 같은 이미지를 생성하지 않고, 다양한 가짜 이미지를 생성하기 위해서입니다.

노이즈 벡터의 값이 달라지면 그에 따라 Generator가 생성하는 이미지도 달라집니다.

쉽게 말해, 노이즈 벡터는 일종의 무작위 씨앗(seed) 역할을 하여 GAN이 새로운 이미지를 창조하도록 돕는 것입니다.

만약 노이즈 벡터가 [0.1, -0.2, 0.3] 같은 값들로 주어진다면, Generator는 이 값을 이용해 이미지의 특정 특징(예: 형태, 색상)을 결정짓는 정보를 만들어내고, 새로운 가짜 이미지를 출력합니다.

GAN에서 노이즈 벡터는 주로 다양한 종류의 이미지를 생성하기 위한 출발점으로 사용됩니다.

잠재 공간(latent space)은 뭐예요?

잠재 공간(latent space)이란, GAN에서 노이즈 벡터와 같은 입력이 매핑되는 고차원 공간을 의미합니다.

이 공간은 실제 데이터(예: 이미지)의 복잡한 패턴이나 특징을 간결하게 표현할 수 있는 저차원적인 표현으로 이해할 수 있습니다.

쉽게 말해, 잠재 공간은 실제 데이터의 핵심적인 특성을 추상적으로 압축한 공간으로, 이 공간에서 특정 좌표(노이즈 벡터)가 어떤 특징을 가진 데이터를 생성할 수 있도록 정의된 공간입니다.

예를 들어, 이미지 생성 GAN에서 잠재 공간에서 샘플링한 노이즈 벡터는 얼굴 이미지의 다양한 요소(눈 모양, 피부색, 표정 등)에 영향을 미치며, 이를 통해 다양한 얼굴 이미지를 생성할 수 있습니다.

GAN의 Generator는 이 잠재 공간에서 얻은 노이즈 벡터를 해석하여, 현실적인 데이터를 생성해내는 역할을 합니다.

결론적으로, 잠재 공간은 노이즈 벡터를 통해 실제 데이터(이미지 등)를 생성하기 위한 개념적인 공간으로, GAN이 다양한 가짜 데이터를 만들어내기 위한 기반이 되는 중요한 개념입니다.

GAN(Generative Adversarial Network)은 두 개의 신경망(Neural Network)으로 구성된 네트워크이므로, GAN 자체도 신경망(Neural Network)의 한 형태입니다.

여기서 중요한 점은 GAN이 두 개의 신경망(생성자와 판별자)이 서로 경쟁하는 방식으로 동작한다는 것입니다.

생성자 (Generator)

생성자는 무작위 노이즈 벡터(보통 정규분포에서 샘플링된 값)를 입력받아, 이를 이용해 가짜 데이터를 생성하는 신경망(Neural Network)입니다.

생성자의 목표는 진짜와 구분할 수 없는 가짜 데이터를 만들어내는 것입니다.

예를 들어, 이미지 데이터를 다루는 GAN의 경우, 생성자는 무작위 노이즈를 받아 진짜처럼 보이는 이미지를 생성하려고 합니다.

생성자는 판별자를 속이도록 학습하는데, 판별자가 생성된 가짜 데이터를 진짜라고 믿게 만들도록 끊임없이 업데이트됩니다.

이 과정에서 생성자는 처음에는 무작위의 데이터를 생성하지만, 반복적인 학습을 통해 점점 더 진짜와 가까운 데이터를 생성하게 됩니다.

판별자 (Discriminator)

판별자는 진짜 데이터와 생성자가 만들어낸 가짜 데이터를 입력으로 받아, 그 데이터가 진짜인지 가짜인지를 구분하는 신경망(Neural Network)입니다.

진짜 데이터는 실제 데이터셋에서 가져오고, 가짜 데이터는 생성자가 만들어낸 것입니다.

판별자의 목표는 입력받은 데이터가 진짜인지 가짜인지를 최대한 정확하게 판단하는 것입니다.

처음에는 판별자는 가짜 데이터를 쉽게 구분할 수 있지만, 생성자가 점점 더 사실적인 가짜 데이터를 생성함에 따라, 판별자는 더 정교한 판단을 해야 합니다.

판별자는 이러한 과정에서 진짜와 가짜의 차이를 학습하게 되며, 궁극적으로는 매우 사실적인 가짜 데이터도 구분할 수 있는 강력한 분류기로 발전하게 됩니다.

생성자와 판별자의 상호작용

생성자와 판별자는 서로의 성능을 향상시키기 위해 경쟁 관계를 유지합니다.

이 경쟁 과정은 적대적 학습(adversarial learning)이라 불리며, 게임 이론에서 말하는 "제로섬 게임"에 비유할 수 있습니다.

생성자는 판별자를 속이기 위해 점점 더 정교한 가짜 데이터를 만들고, 판별자는 그 가짜 데이터를 정확히 구별하기 위해 성능을 끌어올립니다.

이 과정이 반복되면서 두 신경망은 동시에 발전합니다.

GAN은 신경망을 기반으로 한 구조이고, GAN 자체도 Neural Network의 한 종류로 볼 수 있습니다.

GAN이 다른 점은 두 개의 신경망이 경쟁하며 학습하는 독특한 구조를 가지고 있다는 것입니다.

제로섬 게임이 뭐예요?

제로섬 게임은 게임 이론에서, 한쪽의 이득이 다른 쪽의 손실과 정확히 일치하는 상황을 의미합니다.

즉, 참여자 간의 총합 이익이 항상 0인 게임입니다.

한쪽이 얻는 만큼 다른 쪽이 잃기 때문에, 이득과 손실이 서로 상쇄됩니다.

GAN에서 생성자와 판별자가 경쟁할 때, 생성자가 판별자를 속일수록 판별자는 손해를 보고, 판별자가 가짜 데이터를 잘 구분할수록 생성자가 손해를 봅니다.

사용 이유

GAN	실제와 유사한 데이터를 생성하기 위해서

GAN을 사용하는 이유는 실제와 유사한 데이터를 생성하기 위해서 입니다.

이유	설명
고품질 데이터 생성	GAN은 복잡한 데이터 분포를 학습하여 실제 데이터와 구분하기 어려운 고품질의 가짜 데이터를 생성할 수 있으며, 이미지, 음성, 텍스트 등의 다양한 형태의 데이터를 만들어낼 수 있습니다.
비지도 학습 가능	GAN은 라벨이 없는 데이터에서도 유의미한 패턴을 학습하고 지도 학습 없이 새로운 데이터를 생성할 수 있어, 라벨링된 데이터가 부족한 분야에서 매우 유용합니다.
데이터 증강	GAN을 활용하면 제한된 데이터셋에서 새로운 데이터를 생성하여 학습에 필요한 데이터를 증강할 수 있으며, 특히 의료 분야나 자율주행 등 데이터가 부족한 상황에서 도움이 됩니다.
스타일 변환 및 도메인 적응	GAN은 한 도메인의 데이터를 다른 도메인으로 변환하는 데 매우 효과적이며, 낮 사진을 밤 사진으로 변환하거나 사진을 그림으로 변환하는 등 다양한 스타일 변환 작업에서 사용됩니다.
창의적 콘텐츠 생성	예술, 음악, 게임 디자인 등의 창의적인 콘텐츠를 자동으로 생성할 수 있어, 예술 작품이나 음악 생성, 게임 맵 디자인 등 다양한 분야에서 창의적인 작업을 지원할 수 있습니다.
잠재 공간 탐색	GAN은 잠재 공간에서 데이터를 탐색하고 특정 특성을 조작하여 새로운 데이터를 생성할 수 있어, 예를 들어 나이, 성별 등의 변화에 따라 이미지를 생성하는 데 활용됩니다.
희귀 데이터 학습 및 복원	GAN은 손상된 데이터를 복원하거나 희귀한 데이터를 학습하여 새로운 데이터를 생성할 수 있으며, 의료 데이터 복원이나 역사적 사진 복원과 같은 작업에서 유용하게 사용됩니다.
긴 학습 시간 감소	GAN은 고해상도 데이터를 생성할 때 많은 계산 자원이 필요하지만, 다양한 최적화 기법을 통해 학습 시간을 줄이고 효율적인 학습을 가능하게 할 수 있습니다.

사용 방법

GAN	생성자(Generator)가 데이터를 생성하고, 판별자(Discriminator)가 이를 진짜 또는 가짜로 구분하는 과정을 반복하며 학습

TensorFlow

PyTorch

알면 좋은 정보

GAN의 한계 및 문제점

GAN이 강력한 생성 모델이긴 하지만 몇 가지 한계도 존재합니다.

모드 붕괴(Mode Collapse)

모드 붕괴는 생성자가 다양한 데이터를 생성하는 대신, 특정 패턴의 데이터만 반복적으로 생성하는 문제입니다.

이는 GAN이 데이터를 충분히 학습하지 못하고 한정된 데이터 분포만 생성하게 될 때 발생합니다.

예를 들어, 생성자가 고양이 이미지를 생성하는 GAN에서, 모든 생성된 이미지가 같은 형태의 고양이만 나타나는 현상이 일어날 수 있습니다.

모드 붕괴 문제를 완화하기 위해 다양한 기법이 사용되며, 대표적으로 Unrolled GAN과 Mini-batch Discrimination이 있습니다.

Unrolled GAN은 생성자 업데이트 시, 판별자의 미래 반응까지 고려하여 학습함으로써 이 문제를 완화합니다.

Mini-batch Discrimination은 미니배치 내에서 다양한 데이터를 생성하도록 유도하여, 같은 패턴의 데이터가 반복되지 않도록 돕습니다.

긴 학습 시간 및 높은 계산 비용

GAN의 학습은 매우 많은 계산과 높은 자원, 긴 시간이 필요합니다.

특히 고해상도 이미지를 생성하거나, 복잡한 데이터 분포를 학습하는 경우에는 학습 시간이 급격하게 늘어납니다.

이는 GAN의 학습 불안정성 문제와도 맞물려, 최적의 모델을 얻기 위해 여러 번 실험해야 할 때 더욱 두드러집니다.

계산은 무슨 계산을 말하는거에요?

GAN에서 말하는 계산은 주로 Generator가 노이즈 벡터로부터 이미지를 생성하고, Discriminator가 그 이미지를 실제와 비교하여 판별하는 과정에서 발생하는 연산을 뜻합니다.

여기에는 이미지 생성과 분류, 손실 함수 계산, 그리고 손실 값을 바탕으로 가중치를 업데이트하기 위한 역전파 과정이 포함됩니다.

이 모든 작업을 수천 번 반복하여 모델을 학습시키기 때문에 많은 연산이 필요합니다.

GAN의 학습을 가속화하기 위한 연구가 활발하게 이루어지고 있으며, 진화적 방법(Progressive Growing of GANs) 같은 기법은 저해상도에서 고해상도로 점진적으로 학습하는 방식으로 학습 시간을 줄일 수 있습니다.

또한, 병렬처리나 GPU 가속을 통해 계산 비용을 낮추는 방식이 흔히 사용됩니다.

훈련 불안정성(Unstable Training)

GAN 학습에서 생성자와 판별자의 경쟁이 균형을 맞추지 못할 경우, 학습이 불안정해질 수 있습니다.

이는 특히 두 네트워크가 번갈아가며 이기고 지는 과정에서 발생하며, 한쪽이 너무 강력해지면 다른 한쪽은 학습이 제대로 이루어지지 않게 됩니다.

WGAN, WGAN-GP, Batch Normalization 등 여러 기법을 통해 훈련 불안정성을 완화할 수 있습니다.

또한 Adaptive Learning Rate나 체크포인트 복원 등의 방법도 모델 학습을 안정화하는 데 도움이 됩니다.

평가 지표의 부재

GAN의 출력물에 대한 평가 기준을 설정하기 어렵습니다.

생성된 이미지가 얼마나 "진짜처럼" 보이는지를 객관적으로 측정할 수 있는 지표가 마땅치 않으며, 주로 사람이 판단하게 됩니다.

Fréchet Inception Distance(FID)와 같은 평가 지표가 개발되었지만, 여전히 GAN의 성능을 평가하는 완벽한 방법은 아니며, 다양한 평가 방식을 사용해야 할 필요가 있습니다.

Fréchet Inception Distance(FID)가 뭐예요?

출처: ResearchGate (https://www.researchgate.net/figure/Frechet-distance-measurement_fig1_320723538)

Fréchet Inception Distance(FID)는 GAN이 생성한 이미지의 품질을 평가하는 지표입니다.

FID는 실제 이미지와 생성된 이미지의 특성 분포 차이를 측정하는 방식으로, 주로 Inception 네트워크를 사용하여 이미지에서 추출한 고차원 특성(Feature)을 비교합니다.

구체적으로, 실제 데이터와 생성된 데이터의 특성 분포를 각각 정규 분포로 가정한 후, 두 분포 사이의 거리를 계산하여 FID 값을 구합니다.

값이 낮을수록 생성된 이미지가 실제 이미지와 유사하다는 것을 의미합니다.

FID는 이미지의 품질뿐 아니라 다양성도 고려하는 평가 지표로, GAN의 성능을 평가할 때 자주 사용됩니다.

FID, Inception Score 등의 평가 지표를 사용해 생성된 이미지의 품질을 측정할 수 있지만, 인간 평가를 포함한 종합적인 방식이 필요합니다.

훈련 데이터에 의존적

GAN의 성능은 훈련 데이터의 질과 양에 크게 의존합니다.

충분히 다양한 데이터를 사용하지 않으면, 생성자는 제한된 범위 내에서만 이미지를 생성하게 됩니다.

또한, 데이터셋에 편향이 포함되어 있으면, GAN 역시 그 편향을 학습하게 됩니다.

데이터 증강 기법을 사용하거나, GAN을 학습시키기 위한 다양하고 균형 잡힌 데이터셋을 사용하는 것이 중요합니다.

또한, 전이 학습(Transfer Learning)을 통해 적은 데이터로도 성능을 개선할 수 있습니다.

GAN 학습의 불안정성 및 해결 방법

GAN은 학습이 불안정할 수 있으며, 이는 특히 생성자와 판별자가 균형을 맞추지 못할 때 발생합니다.

예를 들어, 판별자가 너무 강력하면 생성자는 효과적으로 학습할 수 없고, 반대로 생성자가 너무 강력하면 판별자는 무력해질 수 있습니다.

이런 불안정성을 해결하기 위한 다양한 기법이 존재합니다.

Wasserstein GAN (WGAN)

WGAN은 전통적인 GAN에서 발생하는 그래디언트 소실 문제를 해결하기 위해 제안된 기법입니다.

기존 GAN은 KL 발산이나 JS 발산 같은 확률 분포 차이를 측정하는 방식에서 학습이 불안정할 수 있습니다.

WGAN은 이를 해결하기 위해 지구 거리(Wasserstein 거리)를 사용하여 손실 함수를 정의합니다.

WGAN의 주요 특징은 그래디언트 소실 문제를 줄이고, 생성자와 판별자의 학습을 더 안정적으로 진행할 수 있도록 돕는 것입니다.

지구 거리(Wasserstein 거리)가 뭐예요?

지구 거리(Wasserstein 거리)는 두 확률 분포 간의 차이를 측정하는 방법으로, 한 분포에서 다른 분포로 변환하는 데 필요한 최소 비용을 계산하는 개념입니다.

직관적으로는 한 분포의 질량을 다른 분포로 옮기기 위해 이동해야 하는 총량으로 생각할 수 있습니다.

예를 들어, A 도시에서 B 도시로 물품을 옮길 때, 각 물품을 옮기는 데 필요한 총 이동 거리를 계산하는 방식입니다.

GAN에서 Wasserstein 거리를 사용하면 기존의 JS 발산보다 더 안정적이고 부드럽게 두 분포의 차이를 계산할 수 있어, 그래디언트 소실 문제를 완화하는 데 도움을 줍니다.

JS 발산은 뭐예요?

JS 발산(Jensen-Shannon Divergence)은 두 확률 분포 간의 차이를 측정하는 방식으로, GAN에서 생성자(Generator)와 판별자(Discriminator)의 분포 차이를 계산할 때 사용됩니다.

두 분포(P와 Q)가 얼마나 다른지 측정하는데, 두 분포가 겹치지 않으면 JS 발산 값이 최대가 되어 학습이 불안정해질 수 있습니다.

특히 Generator가 생성하는 분포가 실제 데이터 분포와 너무 다를 경우, 그래디언트가 소실되어 학습이 진행되지 않는 문제가 발생할 수 있습니다.

이 문제를 완화하기 위해 WGAN에서는 Wasserstein 거리를 사용합니다.

Gradient Penalty (WGAN-GP)

WGAN의 성능을 더욱 향상시키기 위해 등장한 WGAN-GP(Gradient Penalty)는 그래디언트 폭발 또는 소실 문제를 방지하기 위한 기법입니다.

WGAN에서는 weight clipping을 사용하여 판별자의 Lipschitz 연속성을 보장하지만, 이 방식은 최적화 과정에서 문제가 발생할 수 있습니다.

WGAN-GP는 그래디언트 패널티 항을 추가하여, 그래디언트가 특정 범위에서 안정적으로 유지되도록 학습을 진행합니다. 이로 인해 WGAN-GP는 WGAN보다 더 나은 학습 안정성을 제공합니다.

Weight clipping이 뭐예요?

Weight clipping은 WGAN에서 Discriminator의 가중치(Weights)를 일정 범위 안에 강제로 제한하는 방법입니다.

WGAN은 Lipschitz 연속성을 유지하기 위해 Discriminator가 급격한 변화를 하지 않도록 해야 하는데, 이를 위해 가중치 값을 일정한 상한과 하한 사이로 잘라내는 것이 weight clipping입니다.

예를 들어, 가중치가 -0.01에서 0.01 사이로 제한되면, 그 범위를 넘는 가중치 값은 잘려서(클리핑되어) 해당 범위 내에 들어가게 됩니다.

하지만 이 방식은 Discriminator의 학습을 방해할 수 있어, 이후 WGAN-GP에서는 이 문제를 해결하기 위해 그래디언트 패널티 기법을 사용하게 되었습니다.

Lipschitz는 뭐예요?

Lipschitz는 함수의 변화율을 제한하는 규칙입니다.

입력 값이 조금 변할 때, 출력 값도 일정 범위 내에서만 변하게 만드는 것입니다.

즉, 함수가 갑작스럽게 변하지 않도록 변화의 속도를 조절해주는 역할을 합니다.

WGAN에서는 이 Lipschitz 조건을 만족해야 Discriminator가 안정적으로 학습할 수 있습니다.

Batch Normalization

Batch Normalization(BatchNorm)은 GAN의 학습 불안정을 완화하는 또 다른 기법입니다.

GAN의 학습 중, 입력 데이터나 신경망의 계층별 출력 값이 급격히 변동할 경우 학습이 불안정해질 수 있습니다.

BatchNorm은 각 배치마다 출력의 평균과 분산을 정규화하여 학습 속도를 높이고 안정성을 강화합니다.

BatchNorm을 사용하면 모드 붕괴 현상을 줄일 수 있으며, 생성자와 판별자가 좀 더 원활하게 학습할 수 있도록 도와줍니다.

실제 응용 사례

응용 사례	내용
이미지 생성	GAN은 DeepFake 영상, 새로운 얼굴 생성, 작품 복원 등 다양한 이미지 생성 작업에 사용됩니다.
데이터 증강	GAN은 의료 영상 등에서 부족한 데이터셋을 보충하기 위한 데이터 증강 목적으로 활용됩니다.
스타일 변환	GAN을 통해 사진을 그림 스타일로 변환하거나, 낮 사진을 밤 사진으로 변환하는 등 이미지 스타일 변환 작업도 가능합니다.

미니퀘스트

1번 미니퀘스트 - MNIST 데이터셋을 활용하여 간단한 GAN 모델 만들기

아래의 진행 순서 가이드라인을 따라 “MNIST 데이터셋을 활용하여 간단한 GAN 모델 만들기”를 진행해보겠습니다.

결과물을 출력해보고 분석해보세요!

진행 순서 가이드라인

필요한 라이브러리 설치 및 임포트

하이퍼파라미터 설정

MNIST 데이터셋 불러오기 및 전처리

Generator와 Discriminator 모델 정의

손실 함수 및 옵티마이저 설정

학습 루프 작성

이미지 생성 및 저장

최종 결과 이미지 시각화 및 저장

결과물 (예시)

결과물 분석 (예시)

분석	내용
전반적인 성능	대부분의 숫자가 명확하게 잘 생성되었으며, 특히 "4", "1", "7" 등은 실제 MNIST 데이터셋에서 볼 수 있는 형태와 유사하게 나타납니다. 이는 생성자(Generator)가 어느 정도 진짜 같은 이미지를 만들어낼 수 있음을 보여줍니다.
모호한 숫자	일부 숫자, 특히 "9"와 "2"는 흐릿하거나 불분명한 부분이 보입니다. 이는 GAN이 학습 과정에서 일부 숫자 패턴에 대해서는 충분히 학습되지 않았을 가능성이 있습니다. 예를 들어, 네 번째 열의 "9"는 잘못된 부분이 있으며, 약간 흐릿해 보입니다. 이는 학습 과정에서 데이터의 다양성이 충분하지 않거나, 학습 도중 발생한 불균형이 원인일 수 있습니다.
노이즈	몇몇 이미지에서 작은 노이즈가 보입니다. 예를 들어, 두 번째 열의 "3"과 네 번째 열의 "6"에서 이미지 품질이 다소 떨어지는 것을 볼 수 있습니다. 이는 GAN 학습에서 흔히 발생하는 문제로, 생성자가 더 진짜 같은 이미지를 만들기 위해 판별자(Discriminator)를 속이려고 하지만, 아직 완벽하게 최적화되지 않았을 때 발생할 수 있는 현상입니다.
에포크 수와 이미지 품질	위 이미지들은 학습이 어느 정도 진행된 후 생성된 결과물이지만, 에포크를 더 늘려 학습을 지속하면 이미지 품질이 더욱 향상될 수 있습니다. 에포크가 진행되면서 생성자는 판별자를 더 잘 속일 수 있는 이미지들을 만들어내며, 이는 숫자가 더욱 명확하고 깨끗하게 나오는 결과를 기대할 수 있습니다.
결론	현재 GAN 모델은 기본적인 MNIST 숫자 이미지를 생성하는 데 성공적이지만, 일부 이미지의 품질이 떨어지는 부분이 있어 학습을 더 진행하거나 하이퍼파라미터를 조정하여 개선할 필요가 있습니다. 특히, 더 많은 에포크 동안 학습을 진행하거나, 판별자와 생성자의 손실 간 균형을 맞추는 것이 필요합니다.

Google Colab

Tensorflow

PyTorch

2번 미니퀘스트 - CIFAR-10 데이터셋을 활용하여 GAN 모델 만들기

아래의 진행 순서 가이드라인을 따라 “CIFAR-10 데이터셋을 활용하여 GAN 모델 만들기”를 진행해보겠습니다.

결과물을 출력해보고 분석해보세요.

진행 순서 가이드라인

필요한 라이브러리 설치 및 임포트

하이퍼파라미터 설정

데이터셋 불러오기 및 전처리

Generator 및 Discriminator 모델 정의

손실 함수 및 옵티마이저 설정

학습 루프 작성

이미지 생성 및 저장

결과물 (예시)

결과물 분석 (예시)

분석	내용
전반적인 성능	이미지들이 명확하지 않고, 각 셀에 흐릿한 패턴들이 나타나 있습니다. 이는 학습 중 생성된 이미지들이 충분히 구체화되지 않았음을 나타냅니다.
모호한 이미지	각 셀에 보여지는 이미지들은 구조나 형태가 불분명하고 추상적입니다. 이는 학습이 충분하지 않았거나, GAN 모델의 설정이나 하이퍼파라미터가 이미지 생성에 적합하지 않을 가능성이 있습니다.
노이즈	이미지 대부분에서 노이즈가 매우 많이 포함되어 있습니다. 색상의 혼합이나 패턴의 무작위성이 두드러져 있으며, 이는 생성자가 아직 충분히 학습되지 않아 판별자를 속이기 어려운 상태를 나타냅니다.
에포크 수와 이미지 품질	현재 상태에서 에포크 수를 늘리거나 하이퍼파라미터를 조정해 학습을 추가적으로 진행할 필요가 있습니다. 에포크가 늘어나면서 생성자는 더욱 구체적이고 명확한 이미지를 만들어 낼 가능성이 있습니다.
결론	현재 GAN 모델은 아직 충분히 학습되지 않아 모호하고 추상적인 이미지들을 생성하고 있습니다. 학습을 더 진행하거나, 네트워크 구조나 하이퍼파라미터를 조정하는 것이 필요합니다.

Google Colab

Tensorflow

PyTorch

파이토치는 램을 많이 점유하지 않는데, 텐서플로는 에포크가 돌면 돌수록 램을 기하급수적으로 점유하는 이유가 뭔가요?

TensorFlow가 PyTorch에 비해 더 많은 메모리를 사용하는 이유는 두 프레임워크의 메모리 관리 방식과 동작 원리의 차이에서 비롯됩니다. 이 차이는 특히 장기 학습 시 메모리 사용량의 증가에 영향을 미칩니다.

1. 동적 그래프 vs 정적 그래프

•

PyTorch는 동적 계산 그래프(Eager Execution)를 사용합니다. 이는 각 연산이 실행될 때마다 그래프가 동적으로 생성되고, 연산이 끝난 후 그래프가 즉시 해제됩니다. 즉, 메모리가 사용된 후 곧바로 해제되므로 메모리 사용량이 비교적 적습니다.

•

TensorFlow는 기본적으로 정적 계산 그래프를 사용합니다. 모델이 실행될 때마다 그래프가 생성되고, 계속해서 누적됩니다. 특히 @tf.function을 사용할 때, 그래프를 캐시하는 과정에서 불필요하게 메모리를 많이 사용하게 될 수 있습니다.

2. 메모리 캐싱

•

TensorFlow는 계산 그래프를 최적화하고 재사용하기 위해 그래프를 캐싱합니다. 하지만 학습이 반복되면서, 그래프를 계속해서 캐시하는 방식 때문에 메모리 누수가 발생할 수 있습니다.

•

PyTorch는 동적 그래프이기 때문에, 연산이 끝나면 메모리를 더 이상 잡아두지 않고 즉시 해제합니다.

3. 텐서 메모리 관리 차이

•

TensorFlow는 텐서 연산을 처리할 때, 내부적으로 메모리 할당과 관리를 최적화하기 위해 추가적인 오버헤드를 발생시킵니다. 이는 때때로 불필요한 메모리 할당으로 이어질 수 있습니다.

•

PyTorch는 명시적으로 torch.no_grad()나 detach()를 통해 그래디언트 계산과 메모리 관리를 세밀하게 조정할 수 있습니다.

4. 메모리 누수 가능성

TensorFlow 코드에서 메모리 누수가 발생할 수 있는 경우가 많습니다. 특히, model.compile() 또는 train_on_batch()를 사용할 때 새로운 그래프가 생성되고 메모리에 남아있는 경우가 있습니다. PyTorch는 이러한 문제가 덜한 편입니다.

그럼 여러가지 최적화 전략(명시적 메모리 해제, 재사용 그래프 사용, 배치크기 줄이기 등)을 사용해도 텐서플로의 메모리 문제가 발생하면 달리 방도가 없는건가요?

TensorFlow가 PyTorch에 비해 메모리 관리에서 더 많은 이슈를 겪는 것은 사실입니다. 여러 가지 최적화 전략을 사용하더라도, TensorFlow의 메모리 관리 방식이 워낙 복잡하기 때문에 장기적인 학습에서는 메모리 문제가 더 자주 발생할 수 있습니다.

특히, 명시적 메모리 해제, 그래프 재사용, 배치 크기 조정 등을 모두 적용했음에도 불구하고 계속해서 메모리 문제가 발생한다면, 이는 TensorFlow가 정적 그래프 방식과 메모리 캐싱을 사용하는 특성에서 기인한 구조적인 한계일 가능성이 큽니다.

결론: TensorFlow와 PyTorch의 선택

•

PyTorch 사용을 권장하는 경우:

◦

메모리 사용이 중요한 장기 학습 작업(예: GAN, 강화 학습)에서 PyTorch는 메모리 관리가 더 직관적이고, 학습 중에 메모리 문제가 발생할 확률이 적습니다.

◦

연구나 실험을 자주 변경하거나 동적으로 학습 파이프라인을 변경하는 경우, PyTorch의 동적 그래프 방식이 더 유리합니다.

•

TensorFlow를 계속 사용하는 경우:

◦

TensorFlow는 배포 환경에서 성능 최적화와 확장성이 필요할 때, 특히 TensorFlow Serving이나 TensorFlow Lite 같은 툴을 사용할 때 유리합니다. 즉, 대규모 프로덕션 환경에서 안정적인 지원을 필요로 할 때는 여전히 좋은 선택입니다.

◦

Keras의 고수준 API를 선호하고, 단기 학습 작업에서 메모리 문제가 적을 때는 TensorFlow를 계속 사용할 수 있습니다.

결론적으로:

장기적인 학습과 메모리 효율성이 중요한 작업이라면 PyTorch가 더 적합할 수 있습니다. PyTorch는 직관적인 메모리 관리와 더 가벼운 메모리 사용량 덕분에, 같은 작업에서도 훨씬 더 안정적입니다. TensorFlow의 장점도 많지만, 메모리 문제가 계속 발생한다면 PyTorch로의 전환을 고려하는 것이 좋은 선택일 수 있습니다.