손실함수를 가중치나 절편에 대해 최소화시키는 방법
L이 loss이고 W는 가중치 b는 절편
손실함수를 가중치나 절편에 대해 최소화시키는 방법
그런데 미분값을 계산하는 과정에서 최상층에서 최하층으로, 역으로 미분 계산이 진행된다해서 Backpropagation이라 부른다.
합성함수 미분법에 의한 연쇄법칙이 기반
예제) 2층신경망의 역전파 알고리즘
방법은?
비슷한 방식으로
도 구할 수 있다.
확률적 경사하강법 등을 이용하여 손실함수 L을 최소화시키는 방향으로 가중치 W와 절편 b을 계속 갱신해나감
728x90
'딥러닝 > 딥러닝 기초' 카테고리의 다른 글
| convolution 연산 이해하기 중급편 (0) | 2022.02.03 |
|---|---|
| convolution 연산 이해하기 기본편 (0) | 2022.02.01 |
| 여러가지 cross validation 방법들 (0) | 2022.01.17 |
| 확률적 경사하강법(stochastic gradient descent method) (0) | 2022.01.04 |
| cross validation이란? (0) | 2022.01.03 |