Backpropagation (역전파)

5단 분석법

순서	분석	단어	내용
1	일반 명사	Back	뒤쪽, 과거
		Propagation	전파, 전달
		Backpropagation	뒤로 전파, 전달?
2	고유 명사	Backpropagation	Neural Network에서 출력 값과 실제 값 간의 오차를 기반으로 각 뉴런의 weight를 조정하기 위해 사용되는 알고리즘
3	사용 이유	Backpropagation	Neural Network의 weight와 bias를 알맞게 업데이트 하여 학습을 통해 모델의 예측 성능을 최적화하기 위해서
4	사용 방법	Backpropagation	backpropagation 과정을 통해 각 레이어의 weight에 대한 gradient를 계산
5	다른 기술과의 비교	Backpropagation	-

Back은 뒤쪽, 과거 라는 의미 입니다.

Propagation은 전파, 전달이라는 뜻을 가지고 있습니다.

Backpropagation은 뒤로 전파, 뒤로 전달이라고 생각해 볼 수 있을 것 같습니다.

정말 그런지, 고유 명사를 한 번 알아볼까요?

Backpropagation

Neural Network에서 출력값과 실제 값 간의 오차를 기반으로 각 뉴런의 weight를 조정하기 위해 사용되는 알고리즘

Backpropagation(역전파)은 Neural Network(인공 신경망)에서 출력값과 실제 값 간의 오차를 기반으로 각 뉴런의 weight(가중치)를 조정하기 위해 사용되는 알고리즘 입니다.

딥 러닝의 기본 원리는 Feed-Forward(순전파)를 통해서 Loss 값을 계산하고, Backpropagation(역전파)을 통해 weight를 조정하는 것 입니다.

Backpropagation을 하기 위해선 Loss 값이 필요하며, 이 Loss 값을 0으로 만들어가는 과정이 딥 러닝의 학습 과정입니다.

Feed-Forward(순전파)란?

•

입력 데이터를 Neural Network의 각 레이어를 통과시키며 출력값을 계산하는 과정

2차 함수에서 0이 되는 부분을 찾기 위해 미분을 사용하는 것처럼, Backpropagation은 Loss Function을 미분하여 weight를 조정합니다.

이 과정에서 Loss 값을 줄이는 방향으로 weight를 업데이트하며, 최종적으로 Loss가 가장 적은 최적의 weight를 찾는 것이 Backpropagation의 핵심입니다.

Backpropagation

Neural Network의 weight와 bias를 알맞게 업데이트 하여 학습을 통해 모델의 예측 성능을 최적화하기 위해서

이유	설명
빠르고 확실한 학습	Backpropagation은 네트워크의 각 weight의 gradient를 빠르게 계산하여 weight를 업데이트합니다. 이를 통해 모델이 주어진 데이터에 대해 점차적으로 더 정확한 예측을 할 수 있도록 학습합니다.
최적화 문제 해결	딥 러닝의 목적은 Loss Function을 최소화하는 weight의 조합을 찾는 것입니다. Backpropagation은 Loss Function의 gradient를 계산하여 gradient descent 방법을 통해 weight를 업데이트합니다.
복잡한 모델 학습	다층 신경망(Deep Neural Networks)에서 Backpropagation은 필수적입니다. 복잡한 모델 구조에서 각 레이어의 weight를 정확하게 조정할 수 있어 모델이 높은 수준의 추상화를 학습하고, 복잡한 패턴을 인식하는 데 도움을 줍니다.
일반화 성능 향상	Backpropagation은 모델이 훈련 데이터에 과적합되지 않도록 도와줍니다.

Backpropagation

backpropagation 과정을 통해 각 레이어의 weight에 대한 gradient를 계산