회귀분석에서 회귀계수는 유의하지만 절편이 유의하지 않다면..?

1. 문제 회귀분석을 수행할 때 회귀계수는 유의하더라도 절편이 유의하지 않다면 어떻게 해야할까? intercept가 유의하지 않고 회귀계수가 유의하니까 추정된 회귀식을 y = 1.5295x라고 적어야할까? 아니면 y = 1.5295x + 6.4095라고 적어도 괜찮은 걸까? 정답은 후자다. 절편을 아무 근거없이 함부로 제거하면 안된다 2. 절편은 어떤 의미를 가지는가? y = a+bx라는 회귀식에서 절편 a는 어떤 의미를 가질까? 절편이라는 것은 설명변수의 위치에 의존하게 된다. '설명변수 x=0일 때 반응변수 y의 값이 상수 a와 같다' 설명변수 x가 0일때라는 점에서 절편이 갖는 의미가 생각보다 중요하지 않다 설명변수 x가 0일때 의미없다면 절편도 아무런 의미를 갖지 않게 된다. 예를 들어 생각해보면..

• format_list_bulleted 다시보는 통계학
• · 2022. 1. 30.
• textsms

경사하강법(gradient descent)의 한계

1. 선형회귀분석 주어진 n개의 데이터에서 이들을 가장 잘 설명하는 선형모형을 찾는다 이전에는 무어펜로즈 역행렬을 이용하여 찾았다 무어펜로즈 역행렬을 이용하여 오차의 norm을 최소화하여 회귀계수 $\beta$를 찾는다. 무어펜로즈 역행렬은 컴퓨터 계산 시간 측면에서 비효율적이다 변수 수 m에 따라 $O(m^{2})$이라고 한다. 대안으로 경사하강법을 이용하여 회귀계수를 추정할 수 있다. 2. 선형회귀분석에서의 경사하강법 선형회귀분석은 위에서도 보였지만 $$y-X\beta$$ 의 norm을 최소화하는 $\beta$를 찾는것. 그러므로 $$y-X\beta$$ 의 norm을 $\beta$로 미분한 그래디언트 벡터를 구한다 그래디언트 벡터를 구하면 경사하강법을 이용하여 $\beta$에 그래디언트 벡터를 빼서 얻은..

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 2.
• textsms