tensor decomposition 간단한 설명

학습된 weight tensor를 더 작은 단위의 vector나 tensor의 곱이나 합의 조합으로 근사적으로 표현하는 것 저장해야하는 weight가 줄어들어 computation이 줄어드는 효과  1. CP decomposition  rank one tensor의 P개의 linear combination으로 주어진 tensor를 decomposition할 수 있다는 것    convolution weight tensor x를 vector a,b,c의 outer product(=rank one tensor)의 linear combination(summation)으로 근사적으로 분해함 실제 network에 활용할 때는 일반적으로 full convolution이 image에 filter tensor를 con..

• format_list_bulleted light weight modeling
• · 2024. 8. 17.
• textsms

convolution의 backpropagation 대충

1. convolution은 미분해도 여전히 convolution convolution을 미분하면 도함수와 convolution이 된다. 앞에 있는 f가 커널이라는 거 알지? 2. convolution의 직관적인 계산 그림 처음에는 w1,w2,w3가 x1,x2,x3에 만나서 o1 다음으로 한칸 옆으로 가서 x2,x3,x4를 만나서 o2 다음으로 한칸 옆으로 가서 x3,x4,x5를 만나서 o3 backpropagation을 위해 미분을 해보면 여전히 kernel과의 convolution이 된다는 것을 위에서 보였으므로 왜 x로 전달되느냐 oi의 미분이 xi이기 때문임 $\delta$는 loss를 o로 편미분한 값이다. loss를 w로 미분한것이 $\delta$와 x의 곱으로 나타남 convolution을 ..

• format_list_bulleted 딥러닝 기초
• · 2023. 1. 2.
• textsms

딥러닝 모델에서 가중치를 초기화하는 방법(weight initialization)

신경망을 학습할 때 가중치를 초기화하고 update해야하는데 어떻게 초기화해야 학습에 좋을까? 단순히 0으로 시작해버린다면 gradient가 0으로 계산되는 경우가 많을 것. 너무 큰 값으로 시작한다면, 계산된 activation이 너무 커질 것. 단순한 예시로 위와 같은 신경망에서, bias = 0이라고 가정한다면... z = W1(W2(W3...(Wn(X))..))로 계산되는데, n개의 weight들의 곱에 input X의 곱으로 중간 output이 계산된다. 만약 weight들의 원소가 1보다 작은 값들이라면.. weight들을 곱할수록 0에 가까워진다. 하지만, 1보다 조금이라도 크다면 weight들을 많이 곱할수록 매우 커진다. 그러다보니 weight들을 처음에 어떤 값들로 시작하는게 딥러닝 학..

• format_list_bulleted Deep Learning Specialization
• · 2022. 3. 11.
• textsms

그래프(graph)의 유형

1. directed graph link에 방향성이 없고 두 node가 대등한 관계를 가질 수 있는 경우 undirected graph link에 방향성이 있어서 두 node의 주체와 대상의 관계가 확실하고 의미있는 경우 directed graph 페이스북 친구는 서로 친구가 되어있어야 가능하므로 대등한 관계를 가져서 방향이 없는 그래프 인용 그래프의 경우 논문을 누가 인용했는지, 인용의 대상이 무엇인지 분명하므로 방향성이 있는 그래프 트위터 팔로우 그래프는 내가 태연을 트위터 팔로우 하더라도 태연은 나를 팔로우 하지 않잖아 두 node사이에서 양쪽 방향으로 관계를 맺을 수도 있다. 물론 오른쪽 표기를 굳이 쓰진 않는다 사실 어느정도 주관적인 개념이다. 왜냐하면 주체와 대상의 관계가 있음에도 큰 의미가 ..

• format_list_bulleted Graph
• · 2022. 1. 29.
• textsms