Pytorch의 computational graph와 backward()에 대해 이해하기

1. computational graph   computational graph라는 것은 pytorch가 최종 변수에 대한 (위 그림에서는 L)  forward pass를 통해 계산되는 모든 과정이 graph 형태로 저장되어 있는 것을 의미한다. 위의 그림은 a, b, c, d, L, w1,w2,w3,w4 9개의 변수 값들의 계산 과정이 기록되어 있는 computational graph이다. 위 그림에서 예를 들어 c를 계산할려면 a와 w2의 어떤 연산으로 c가 계산되어진다는 의미다. 이렇게 저장을 해놓으면 chain rule에 의한 backward pass 계산이 쉬워진다.  2. backward forward pass를 통해 변수에 대해 계산을 하면 pytorch에서 알아서 computational ..