low rank approximation 개요 간단하게

1. terminology kernel, filter, matrix, tensor 전부 비슷하면서 약간 달라? kernel을 channel로 쌓으면 filter라고 부른다는데 딱히 찾아봐도 뭐가 없네 matrix가 2차원으로 원소를 모아놓은거면 tensor는 3차원 이상으로 원소를 모아놓은거 decomposition과 factorization은 사실상 동일해서 혼용해서 사용 그래서 tensor decomposition을 tensor factorization이라고 부르기도함 low rank approximation은 decomposition들을 전부 통틀어서 이르는 느낌이랄까   convolution layer를 decomposition하는 경우 convolution filter를 decomposition..

• format_list_bulleted 선형대수학
• · 2024. 8. 31.
• textsms

여러가지 matrix decomposition(eigenvalue, singular value, CP, Tucker, non-negative,...)

1. 용어 matrix나 tensor는 데이터 모델링을 위한 도구이다. matrix가 2차원에 숫자를 나열해놓는 것이라면 tensor는 3차원에 숫자를 나열해놓는 데이터 모델링 도구     n*n square matrix에 대한 decomposition으로 1) eigenvalue decomposition, diagonalization은  $A = PDP^{-1}$ 혹은 A가 대칭행렬이면 $A = PDP^{-1} = PDP^{T}$ D는 대각행렬로 원소들이 eigenvalue이고 P는 eigenvector로 이루어진 행렬 eigenvalue decomposition은 다른 수식 $A = \sum_{}^{} \lambda uu^{T}$으로 나타내면 2) spectral decomposition이라고 부름 ..

• format_list_bulleted 선형대수학
• · 2024. 7. 2.
• textsms

linear transformation에 대해 간단하게

matrix나 tensor는 linear transformation이다.    1차원의 [0,1]의 선분을 linear transformation T(x)=3x를 통해 변환하면 3배 늘어난 선분 [0,3]이 된다    주어진 2차원의 정사각형 ABCD를 linear transformation     을 통해 변환하면 2배 늘어나고 회전된 정사각형 A’B’C’D’이 된다    조금 더 복잡하게 주어진 정사각형을 늘리거나 회전시키거나 비틀어버리거나 하더라도 linear transformation 수학적으로 vector space V,W에 대하여 f: V → W가 linear map이라는 것은  임의의 vector u,v ∈ V와 scalar c가  $f(u+v)=f(u)+f(v)$ , $f(cu)=cf(u)..

• format_list_bulleted 선형대수학
• · 2024. 6. 7.
• textsms

행렬의 기하학적 의미

1. 행렬의 정의 벡터를 원소로 가지는 2차원 배열이다. $n \times m$행렬 $X$는 다음과 같이 간단하게 나타낼 수 있다. $$X= \left ( x_{ij} \right )$$ 여기서 $i$는 행 인덱스, $j$는 열 인덱스 $x_{ij}$는 행렬 $X$의 $i$번째 행의 $j$번째 열에 있는 원소 2. 행렬의 분할 $i$번째 행을 기준으로 (빨간색 부분) 행벡터 분할하여 $n \times 1$행렬처럼 다룰 수도 있게 된다 행렬의 $j$열을 기준으로 열벡터 분할하여 $1 \times m$ 행렬처럼 다룰 수 있게 된다 3. 행렬의 기하학적 의미 벡터가 공간 상 하나의 데이터를 나타낸다면, 행렬은 공간 상 여러개의 데이터를 하나로 묶어서 표현한 것이다

• format_list_bulleted 선형대수학
• · 2022. 1. 10.
• textsms

선형대수학 기본 용어 -상급자편 3-

1. gaussian elimination 1) 주어진 행렬의 $i$번째 행과 $j$번째 행을 뒤바꾼다. 2) 주어진 행렬의 $i$번째 행에 0이 아닌 scalar를 곱한다. 3) $i$번째 행의 scalar배를 다른 $j$번째 행에 더한다. 이 때 $i$번째 행은 그대로 되고 $j$번째 행만 변하는 것이다. 위의 3가지 elementary row operation은 행이 아니라 column에서도 가능하다 elementary row operation으로 주어진 행렬을 변환시켜도 행렬의 rank는 변하지 않는다. elementary row operation의 결과로 주어진 행렬을 변환시켰을 때 얻을 수 있는 행렬로 다음과 같은 조건을 모두 만족시킨 형태를 말한다. 1) 모든 원소가 0인 행은 밑에 있다. ..

• format_list_bulleted 선형대수학
• · 2021. 11. 15.
• textsms

선형대수학 기본 용어 -상급자편 2-

1. rank 주어진 행렬의 linear independent인 행의 수를 row rank, linear independent인 열의 수를 column rank라고 부릅니다. linear algebra에서 가장 중요한 결과 중 하나는 row rank와 column rank가 항상 같다는 것으로 그래서 둘 중 하나를 행렬의 rank라고 부릅니다. 기호로 보통 $r _{A} =r(A)=rank(A)$라고 표시합니다. 1) square matrix $A _{nn}$의 rank가 n이면 full rank를 가진다고 하고 모든 행이나 열이 linear independent하다고 부르며 $A _{nn}$이 invertible인 것과 필요충분조건이다. 2) square matrix가 아닌 경우 $A _{pq}$에서 ..

• format_list_bulleted 선형대수학
• · 2021. 11. 10.
• textsms