k-fold validation이라고도 한다. 보통 모형의 성능을 높이기 위해서 주어진 전체 data를 train data + validation data와 test data로 나눈다. train data는 학습을 위해 사용되는 부분이고 validation data는 학습한 모형의 성능을 평가하면서 hyperparameter를 튜닝하기 위해 사용한다. test data는 오직 최종 모형의 성능을 평가하기 위해서만 사용한다. 그런데 이들을 어떻게 나눠야 할까? train data를 k개의 fold로 나누고 그 중 k-1개를 train, 나머지 1개를 validation data라 하고 학습을 진행한다. 1-1) k-1개를 선택하는 모든 경우에 대해 반복하여 진행하고 그들의 적절한 평균으로 최종 모형 선택 ..
1. 선형회귀분석 주어진 n개의 데이터에서 이들을 가장 잘 설명하는 선형모형을 찾는다 이전에는 무어펜로즈 역행렬을 이용하여 찾았다 무어펜로즈 역행렬을 이용하여 오차의 norm을 최소화하여 회귀계수 $\beta$를 찾는다. 무어펜로즈 역행렬은 컴퓨터 계산 시간 측면에서 비효율적이다 변수 수 m에 따라 $O(m^{2})$이라고 한다. 대안으로 경사하강법을 이용하여 회귀계수를 추정할 수 있다. 2. 선형회귀분석에서의 경사하강법 선형회귀분석은 위에서도 보였지만 \[y-X\beta\]의 norm을 최소화하는 $\beta$를 찾는것. 그러므로 \[y-X\beta\]의 norm을 $\beta$로 미분한 그래디언트 벡터를 구한다 그래디언트 벡터를 구하면 경사하강법을 이용하여 $\beta$에 그래디언트 벡터를 빼서 얻은..
1. 신경망(neural network) 보통 인간의 뇌에서 애매하게 영감받아 만들어낸 컴퓨팅 시스템?이라고 말한다 왜 신경망이 성능이 좋을까? 인간의 뇌를 모방해서 잘 작동한다? 꼭 그렇지는 않다 왜냐하면 역전파 알고리즘이 우리 뇌에서 작동하는가? 그렇지는 않잖아 수학적으로 신경망은 affine transformation(행렬 변환)과 nonlinear transformation의 순차적이고 반복적인 곱의 형태로 구해지는 함수 근사 모형이다. 신경망은 선형모형과 비선형함수인 활성화함수의 합성함수이다. 활성화함수는 기본적으로 선형모형의 결과를 원하는 방향으로 해석하게 도와준다. 활성화함수를 쓰지 않으면 딥러닝은 선형모형과 차이가 없다 2. linear neural network 일반적으로 잘 아는 기본 ..
1. 그래디언트 벡터(gradient vector) 어떤 변수 벡터 $x=(x_{1}, x_{2}, x_{3}, .... , x_{n})$에 대하여 함수 $f(x)$의 gradient vector는 각 변수별로 편미분한 성분을 원소로 갖는 벡터 \[\bigtriangledown f(x) = (\frac{df(x)}{x_{1}}, \frac{df(x)}{x_{2}}, ... , \frac{df(x)}{x_{n}})\] gradient vector $\bigtriangledown f(x)$는 점 x에서 함수 f가 가장 빠르게 증가하는 방향을 가리킨다. 당연하지만 -gradient vector인 $-\bigtriangledown f(x)$은 점 x에서 함수 f가 가장 빠르게 감소하는 방향을 가리킨다 2. 편미..
연속형확률변수 $X$의 확률밀도함수가 $f(x)$일 때 연속형 확률변수 $X$의 기댓값은 \[E(X)=\int_{}^{}xf(x)dx\] 이산형 확률변수 $X$의 확률질량함수가 $P(X=x)$일 때 기댓값은 \[E(X)=\sum_{}^{}xP(X=x)\] 확률변수 $X$의 함수 $g(X)$도 하나의 확률변수이고 그러므로 기댓값이 존재하는데 다음과 같은 식이 성립한다 $X$가 연속형이면 \[E(g(X))=\int_{}^{}g(x)f(x)dx\] $X$가 이산형이면 \[E(g(X))=\sum_{}^{}g(x)P(X=x)\] 이것을 무의식적인 통계학자의 법칙(Law Of The Unconscious Statistician, LOTUS)이라고 부른다. $X$의 기댓값을 구할 때 $X$의 확률함수를 이용해서 구했..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
