1. 평균이 참에 가장 가까운 이유 산업혁명이 막 동튼 19세기 초 유럽에서 확률과 통계는 젊은 학문이었다. 통계는 주로 물리학과 천문학에 이용되었다. 그런데 물리학은 실험을 3번하면 3번 모두 다른 값이 나오기 마련이었고, 천체의 움직임도 측정할 때마다 다른 결과가 나왔다. 측정할 때마다 결과가 다르지만 참값이 하나라면 어떤 값이 참값에 가장 가까운가? 빛의 속도를 측정하는 실험을 3번 반복했더니 결과가 29.6만km/s, 30만km/s, 30.1만km/s 나왔다고 하자. 가운데 값인 중앙값 30만km/s가 참인가? 또는 평균인 29.9만km/s가 참인가? 측정된 세 값의 평균을 이용하는 것이 지금은 자연스럽지만, 당시에는 받아들여지기 어려운 개념이었다. 어떤 실험에서도 평균값 29.9만km/s는 나오..
1. 무어펜로즈 역행렬(Moore–Penrose pseudoinverse matrix) 역행렬이 존재하지 않는 경우 대안으로 무어-펜로즈 역행렬을 생각할 수 있다. 행의 수와 열의 수에 따라 구하는 방식이 다르다 역행렬처럼 되돌리는 연산이 가능하다 np.linalg.pinv()는 무어 펜로즈 역행렬을 구해준다 2. 연립방정식의 해법 연립방정식은 행렬의 선형변환을 이용해 간단히 나타낼 수 있다. 연립방정식은 일반적으로 식의 수와 변수의 수가 동일할 때 정확히 하나의 해를 갖지만 식의 수가 변수의 수보다 적거나 같으면 해가 무수히 많을 수 있다. 2-1) 무어펜로즈 역행렬을 이용한 해법 해가 무수히 많은 경우 무어 펜로즈 역행렬을 이용하여 무수히 많은 해 중 하나의 해를 구할 수 있다 2-2) 선형회귀분석에..
1. 선형회귀분석 주어진 n개의 데이터에서 이들을 가장 잘 설명하는 선형모형을 찾는다 이전에는 무어펜로즈 역행렬을 이용하여 찾았다 무어펜로즈 역행렬을 이용하여 오차의 norm을 최소화하여 회귀계수 $\beta$를 찾는다. 무어펜로즈 역행렬은 컴퓨터 계산 시간 측면에서 비효율적이다 변수 수 m에 따라 $O(m^{2})$이라고 한다. 대안으로 경사하강법을 이용하여 회귀계수를 추정할 수 있다. 2. 선형회귀분석에서의 경사하강법 선형회귀분석은 위에서도 보였지만 \[y-X\beta\]의 norm을 최소화하는 $\beta$를 찾는것. 그러므로 \[y-X\beta\]의 norm을 $\beta$로 미분한 그래디언트 벡터를 구한다 그래디언트 벡터를 구하면 경사하강법을 이용하여 $\beta$에 그래디언트 벡터를 빼서 얻은..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
