neural network에서의 low rank approximation은 무엇이 있는가

1. filter decomposition network의 filter를 decomposition하여 계산량을 줄이면서 decomposition하기 전의 결과에 approximation시키는 방법 depthwise separable convolution은 depthwise convolution을 수행하고 pointwise convolution을 수행하여 일반적인 convolution보다 계산량을 줄이고 원래 일반적인 convolution의 결과에 거의 approximation할 수 있다.. (같지 않나 아닌감)   2. low rank tensor approximation 이미 학습된 network의 filter가 차원이 너무 높아 계산비용이 너무 많이 드는 경우 하지만 input을 받아 output을 ..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 11. 20.
• textsms

tensor decomposition - Tucker decomposition, CP decomposition

1. overview  matrix가 2차원에서 데이터를 모델링했으면 tensor는 3차원 이상에서 주어진 데이터를 모델링하고자함  mp3 음성 데이터는 rank1 tensor로 모델링할 수 있고 grey image는 rank2 tensor로 모델링할 수 있고  RGB 이미지는 rank3 tensor로 모델링할 수 있음    2. spectral decomposition 두 벡터 a ∈ $R^{m}$ , b ∈ $R^{n}$에 대하여 a와 b의 outer product는 하나의 m*n행렬 X = a ⊙ b를 나타낸다.  바꿔말해서 하나의 m*n행렬이 두개의 0이 아닌 벡터의 outer product X = a ⊙ b 로 나타낼 수 있으면  행렬 X를 rank one matrix라고 부른다.    비슷하게..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 19.
• textsms

tensor decomposition 간단한 설명

학습된 weight tensor를 더 작은 단위의 vector나 tensor의 곱이나 합의 조합으로 근사적으로 표현하는 것 저장해야하는 weight가 줄어들어 computation이 줄어드는 효과  1. CP decomposition  rank one tensor의 P개의 linear combination으로 주어진 tensor를 decomposition할 수 있다는 것    convolution weight tensor x를 vector a,b,c의 outer product(=rank one tensor)의 linear combination(summation)으로 근사적으로 분해함 실제 network에 활용할 때는 일반적으로 full convolution이 image에 filter tensor를 con..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 17.
• textsms

여러가지 matrix decomposition(eigenvalue, singular value, CP, Tucker, non-negative,...)

1. 용어 matrix나 tensor는 데이터 모델링을 위한 도구이다. matrix가 2차원에 숫자를 나열해놓는 것이라면 tensor는 3차원에 숫자를 나열해놓는 데이터 모델링 도구     n*n square matrix에 대한 decomposition으로 1) eigenvalue decomposition, diagonalization은  $A = PDP^{-1}$ 혹은 A가 대칭행렬이면 $A = PDP^{-1} = PDP^{T}$ D는 대각행렬로 원소들이 eigenvalue이고 P는 eigenvector로 이루어진 행렬 eigenvalue decomposition은 다른 수식 $A = \sum_{}^{} \lambda uu^{T}$으로 나타내면 2) spectral decomposition이라고 부름 ..

• format_list_bulleted 선형대수학
• · 2024. 7. 2.
• textsms

docker에서 nodejs + python-shell 사용할때 배운 docker 기본기와 개발 기본기

다음과 같이 dockerfile이 작성되었고 FROM python:3.8 WORKDIR /SubPjt2/backend/ RUN pip install --upgrade pip RUN pip install matplotlib RUN pip install tensorflow RUN pip install CMake RUN pip install dlib RUN pip install torch RUN pip install torchvision FROM node:16.18 WORKDIR /SubPjt2/backend/ COPY --from=0 . . COPY . . RUN npm install EXPOSE 3001 CMD ["npm", "start"] 이렇게 구성된 dockerfile에서 다음과 같은 python-s..

• format_list_bulleted 프로그래밍/docker & jenkins
• · 2023. 2. 13.
• textsms