matrix나 tensor는 linear transformation이다. 1차원의 [0,1]의 선분을 linear transformation T(x)=3x를 통해 변환하면 3배 늘어난 선분 [0,3]이 된다 주어진 2차원의 정사각형 ABCD를 linear transformation 을 통해 변환하면 2배 늘어나고 회전된 정사각형 A’B’C’D’이 된다 조금 더 복잡하게 주어진 정사각형을 늘리거나 회전시키거나 비틀어버리거나 하더라도 linear transformation 수학적으로 vector space V,W에 대하여 f: V → W가 linear map이라는 것은 임의의 vector u,v ∈ V와 scalar c가 $f(u+v)=f(u)+f(v)$ , $f(cu)=cf(u)..
1. computational graph computational graph라는 것은 pytorch가 최종 변수에 대한 (위 그림에서는 L) forward pass를 통해 계산되는 모든 과정이 graph 형태로 저장되어 있는 것을 의미한다. 위의 그림은 a, b, c, d, L, w1,w2,w3,w4 9개의 변수 값들의 계산 과정이 기록되어 있는 computational graph이다. 위 그림에서 예를 들어 c를 계산할려면 a와 w2의 어떤 연산으로 c가 계산되어진다는 의미다. 이렇게 저장을 해놓으면 chain rule에 의한 backward pass 계산이 쉬워진다. 2. backward forward pass를 통해 변수에 대해 계산을 하면 pytorch에서 알아서 computational ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
