무어-펜로즈 역행렬(Moore–Penrose pseudoinverse matrix)

1. 무어펜로즈 역행렬(Moore–Penrose pseudoinverse matrix) 역행렬이 존재하지 않는 경우 대안으로 무어-펜로즈 역행렬을 생각할 수 있다. 행의 수와 열의 수에 따라 구하는 방식이 다르다 역행렬처럼 되돌리는 연산이 가능하다 np.linalg.pinv()는 무어 펜로즈 역행렬을 구해준다 2. 연립방정식의 해법 연립방정식은 행렬의 선형변환을 이용해 간단히 나타낼 수 있다. 연립방정식은 일반적으로 식의 수와 변수의 수가 동일할 때 정확히 하나의 해를 갖지만 식의 수가 변수의 수보다 적거나 같으면 해가 무수히 많을 수 있다. 2-1) 무어펜로즈 역행렬을 이용한 해법 해가 무수히 많은 경우 무어 펜로즈 역행렬을 이용하여 무수히 많은 해 중 하나의 해를 구할 수 있다 2-2) 선형회귀분석에..

• format_list_bulleted 선형대수학
• · 2022. 1. 17.
• textsms

경사하강법(gradient descent)의 한계

1. 선형회귀분석 주어진 n개의 데이터에서 이들을 가장 잘 설명하는 선형모형을 찾는다 이전에는 무어펜로즈 역행렬을 이용하여 찾았다 무어펜로즈 역행렬을 이용하여 오차의 norm을 최소화하여 회귀계수 $\beta$를 찾는다. 무어펜로즈 역행렬은 컴퓨터 계산 시간 측면에서 비효율적이다 변수 수 m에 따라 $O(m^{2})$이라고 한다. 대안으로 경사하강법을 이용하여 회귀계수를 추정할 수 있다. 2. 선형회귀분석에서의 경사하강법 선형회귀분석은 위에서도 보였지만 $$y-X\beta$$ 의 norm을 최소화하는 $\beta$를 찾는것. 그러므로 $$y-X\beta$$ 의 norm을 $\beta$로 미분한 그래디언트 벡터를 구한다 그래디언트 벡터를 구하면 경사하강법을 이용하여 $\beta$에 그래디언트 벡터를 빼서 얻은..

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 2.
• textsms