벡터의 norm은 벡터 사이 거리로 정의된다. 그런데 벡터 사이 거리를 어떻게 정의할까? 일반적으로 유클리드 거리를 생각하지만 사실 거리를 정의하는 방법은 다양하다 임의의 n차원에서 거리를 정의한다는 것이 중요하다. 첫번째는 L1 norm, 두번째는 L2 norm이라고 부른다 1. L1 norm의 기하학적인 의미 L1 norm이란 원점에서 x까지의 거리를 위 그림에서 빨간 선분의 총 길이로 정의하는 것이다. 2. L2 norm의 기하학적 의미 L2 norm은 x까지의 거리를 위와 같이 직선거리로 정의하는 것이다. 3. norm에 따른 원 원은 원점에서 거리가 r인 점의 집합이라는 사실로부터 3-1) L1 norm을 사용한 원 robust 방법, lasso 회귀 등에서 사용 3-2) L2 norm을 사용한..
1. 정의 공간 상에서 하나의 점 일반적으로 n차원 공간상의 하나의 점 x는 $$x=(x_{1}, x_{2}, ... , x_{n})$$ 2. 기하학적 의미 벡터는 원점으로부터 상대적인 위치 보통 그림으로 방향과 함께 화살표로 표시한다 3. 스칼라곱 벡터에 숫자를 곱한 스칼라곱은 벡터의 길이만 변화시킨다. 스칼라 a가 음수이면 방향을 바꾼다 $$ax = \begin{pmatrix}ax_{1} \\ax_{2} \\\vdots \\ax_{n}\end{pmatrix}$$ 4. 덧셈과 뺄셈 두 벡터의 크기가 같으면 대응하는 원소끼리 덧셈, 뺄셈이 가능하다. $$x\pm y = \begin{pmatrix}x_{1}\pm y_{1} \\x_{2}\pm y_{2} \\\vdots \\x_{n}\pm y_{n}\end..
1. dimension vector space $V$의 basis의 원소의 개수를 $V$의 dimension이라고 부르고 기호로 dim(V)로 표시합니다. 모든 vector space는 basis를 가지는데 유일하지는 않습니다. 무수히 많은 basis를 가질 수 있는데 그러나 모든 basis는 동일한 원소의 개수를 가지므로 dim(V)는 유일하게 정의됩니다. basis의 원소의 개수가 무수히 많으면 $V$가 infinite dimensional하다고 부르고 유한하면 finite dimensional이라고 부릅니다. 1) vector space $V$의 linear subspace가 $W$이면 $dim(W) \leq dim(V)$ 2) 만약 $V$가 finite dimensional vector space..
1. vector space 추상적으로는 벡터들의 집합이지만 일반적으로는 임의의 $v _{1} ,v _{2} \in V$와 scalar c에 대하여 $v _{1}+v _{2} \in V$를 만족시키고 $cv _{1} \in V$를 만족시키면 $V$를 vector space라고 부릅니다. vector space $V$의 부분집합이 vector space이면 $V$의 linear subspace 혹은 간단히 subspace라고 부릅니다. 2. span 어떤 vector space S에 속하는 $v _{1} ,v _{2} ,...,v _{n} \in S$에 대하여 $v _{1} ,v _{2} ,...,v _{n} \in S$의 임의의 부분집합으로 만들 수 있는 모든 linear combination의 집합을 ..
1. gaussian elimination 1) 주어진 행렬의 $i$번째 행과 $j$번째 행을 뒤바꾼다. 2) 주어진 행렬의 $i$번째 행에 0이 아닌 scalar를 곱한다. 3) $i$번째 행의 scalar배를 다른 $j$번째 행에 더한다. 이 때 $i$번째 행은 그대로 되고 $j$번째 행만 변하는 것이다. 위의 3가지 elementary row operation은 행이 아니라 column에서도 가능하다 elementary row operation으로 주어진 행렬을 변환시켜도 행렬의 rank는 변하지 않는다. elementary row operation의 결과로 주어진 행렬을 변환시켰을 때 얻을 수 있는 행렬로 다음과 같은 조건을 모두 만족시킨 형태를 말한다. 1) 모든 원소가 0인 행은 밑에 있다. ..
1. rank 주어진 행렬의 linear independent인 행의 수를 row rank, linear independent인 열의 수를 column rank라고 부릅니다. linear algebra에서 가장 중요한 결과 중 하나는 row rank와 column rank가 항상 같다는 것으로 그래서 둘 중 하나를 행렬의 rank라고 부릅니다. 기호로 보통 $r _{A} =r(A)=rank(A)$라고 표시합니다. 1) square matrix $A _{nn}$의 rank가 n이면 full rank를 가진다고 하고 모든 행이나 열이 linear independent하다고 부르며 $A _{nn}$이 invertible인 것과 필요충분조건이다. 2) square matrix가 아닌 경우 $A _{pq}$에서 ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
