1. 무어펜로즈 역행렬(Moore–Penrose pseudoinverse matrix) 역행렬이 존재하지 않는 경우 대안으로 무어-펜로즈 역행렬을 생각할 수 있다. 행의 수와 열의 수에 따라 구하는 방식이 다르다 역행렬처럼 되돌리는 연산이 가능하다 np.linalg.pinv()는 무어 펜로즈 역행렬을 구해준다 2. 연립방정식의 해법 연립방정식은 행렬의 선형변환을 이용해 간단히 나타낼 수 있다. 연립방정식은 일반적으로 식의 수와 변수의 수가 동일할 때 정확히 하나의 해를 갖지만 식의 수가 변수의 수보다 적거나 같으면 해가 무수히 많을 수 있다. 2-1) 무어펜로즈 역행렬을 이용한 해법 해가 무수히 많은 경우 무어 펜로즈 역행렬을 이용하여 무수히 많은 해 중 하나의 해를 구할 수 있다 2-2) 선형회귀분석에..
1. 선형변환으로 생각하는 행렬 행렬은 벡터공간에서 두 데이터 사이 연결관계를 나타내는 연산자로 생각할 수도 있다. (선형변환) 벡터 $x$에 행렬 $A$를 곱하여 다른 차원의 벡터 $z$로 변환시킴 기계학습의 선형모델들은 위와 같은 선형변환 행렬곱을 이용해서 데이터 $x$의 패턴($z$)을 추출하거나 압축시킨다. 행렬 A의 연산을 거꾸로 되돌리는 행렬이 A의 역행렬 $A$의 역행렬은 $A$의 행과 열의 숫자가 같고 $A$의 행렬식이 0이 아니어야 존재한다 2. np.linalg.inv() numpy의 np.linalg.inv()는 역행렬이 존재하는 행렬의 역행렬을 구해준다 컴퓨터 연산 오차로 인해 자기 자신과 역행렬을 곱해보면 정확히 항등행렬이 나오진 않고 비슷한 값으로 나온다 X와 np.linalg...
1. 행렬의 정의 벡터를 원소로 가지는 2차원 배열이다. $n \times m$행렬 $X$는 다음과 같이 간단하게 나타낼 수 있다. $$X= \left ( x_{ij} \right )$$ 여기서 $i$는 행 인덱스, $j$는 열 인덱스 $x_{ij}$는 행렬 $X$의 $i$번째 행의 $j$번째 열에 있는 원소 2. 행렬의 분할 $i$번째 행을 기준으로 (빨간색 부분) 행벡터 분할하여 $n \times 1$행렬처럼 다룰 수도 있게 된다 행렬의 $j$열을 기준으로 열벡터 분할하여 $1 \times m$ 행렬처럼 다룰 수 있게 된다 3. 행렬의 기하학적 의미 벡터가 공간 상 하나의 데이터를 나타낸다면, 행렬은 공간 상 여러개의 데이터를 하나로 묶어서 표현한 것이다
1. 확률적 경사하강법(stochastic gradient descent method, SGD) 모든 데이터를 사용하는 것이 아닌 매 스텝마다 데이터 1개를 sampling하여 각 스텝마다 gradient를 계산한 경사하강법 목적식이 볼록(convex)이 아니면 확률적 경사하강법을 이용하여 최적화 할 수 있다. 또한 데이터 세트가 매우 클때 일반적인 경사하강법은 속도가 너무 느려져서 매 스텝마다 일부 데이터만 사용하는 확률적 경사하강법을 이용하여 속도를 높일 수 있다. 연산량에 있어서 효율적임 만능은 아니지만 딥러닝에서는 일반적인 경사하강법보다 낫다고한다 그림1을 보면 데이터의 일부를 사용하여 추정한 그래디언트 벡터의 기댓값이 실제 그래디언트 벡터에 근사한다 데이터를 확률적으로 선택하기 때문에 안정적으로..
벡터의 norm은 벡터 사이 거리로 정의된다. 그런데 벡터 사이 거리를 어떻게 정의할까? 일반적으로 유클리드 거리를 생각하지만 사실 거리를 정의하는 방법은 다양하다 임의의 n차원에서 거리를 정의한다는 것이 중요하다. 첫번째는 L1 norm, 두번째는 L2 norm이라고 부른다 1. L1 norm의 기하학적인 의미 L1 norm이란 원점에서 x까지의 거리를 위 그림에서 빨간 선분의 총 길이로 정의하는 것이다. 2. L2 norm의 기하학적 의미 L2 norm은 x까지의 거리를 위와 같이 직선거리로 정의하는 것이다. 3. norm에 따른 원 원은 원점에서 거리가 r인 점의 집합이라는 사실로부터 3-1) L1 norm을 사용한 원 robust 방법, lasso 회귀 등에서 사용 3-2) L2 norm을 사용한..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
