low rank approximation 개요 간단하게

1. terminology kernel, filter, matrix, tensor 전부 비슷하면서 약간 달라? kernel을 channel로 쌓으면 filter라고 부른다는데 딱히 찾아봐도 뭐가 없네 matrix가 2차원으로 원소를 모아놓은거면 tensor는 3차원 이상으로 원소를 모아놓은거 decomposition과 factorization은 사실상 동일해서 혼용해서 사용 그래서 tensor decomposition을 tensor factorization이라고 부르기도함 low rank approximation은 decomposition들을 전부 통틀어서 이르는 느낌이랄까   convolution layer를 decomposition하는 경우 convolution filter를 decomposition..

• format_list_bulleted 선형대수학
• · 2024. 8. 31.
• textsms

MobileNet과 network decoupling

1. overview MobileNetV1은 depthwise separable convolution을 사용해 계산량을 줄이고 MobileNetV2는 inverted Residual block을 통해 계산량을 줄이고 MobileNetV3는 MobileNetV2에 Squeeze and excite를 사용해 계산량을 줄였다고함  2. MobileNetV2 ReLU6는 min(max(x,0),6)으로 ReLU에서 상한선을 6으로 고정한 함수 MobileNet 시리즈는 ReLU함수로 ReLU6를 사용   MobileNetV1과 MobileNetV2(stride=1, stride=2 version)의 기본 구조 비교  MobileNetV1은 depthwise convolution을 수행하고 pointwise co..

• format_list_bulleted light weight modeling
• · 2024. 8. 18.
• textsms

tensor decomposition 간단한 설명

학습된 weight tensor를 더 작은 단위의 vector나 tensor의 곱이나 합의 조합으로 근사적으로 표현하는 것 저장해야하는 weight가 줄어들어 computation이 줄어드는 효과  1. CP decomposition  rank one tensor의 P개의 linear combination으로 주어진 tensor를 decomposition할 수 있다는 것    convolution weight tensor x를 vector a,b,c의 outer product(=rank one tensor)의 linear combination(summation)으로 근사적으로 분해함 실제 network에 활용할 때는 일반적으로 full convolution이 image에 filter tensor를 con..

• format_list_bulleted light weight modeling
• · 2024. 8. 17.
• textsms

여러가지 matrix decomposition(eigenvalue, singular value, CP, Tucker, non-negative,...)

1. 용어 matrix나 tensor는 데이터 모델링을 위한 도구이다. matrix가 2차원에 숫자를 나열해놓는 것이라면 tensor는 3차원에 숫자를 나열해놓는 데이터 모델링 도구     n*n square matrix에 대한 decomposition으로 1) eigenvalue decomposition, diagonalization은  $A = PDP^{-1}$ 혹은 A가 대칭행렬이면 $A = PDP^{-1} = PDP^{T}$ D는 대각행렬로 원소들이 eigenvalue이고 P는 eigenvector로 이루어진 행렬 eigenvalue decomposition은 다른 수식 $A = \sum_{}^{} \lambda uu^{T}$으로 나타내면 2) spectral decomposition이라고 부름 ..

• format_list_bulleted 선형대수학
• · 2024. 7. 2.
• textsms