통계적 모델링과 최대가능도추정법(Maximum likelihood estimation) 간단하게

1. 통계적 모델링

 

적절한 가정 위에서 확률분포를 추정하는 것

 

유한한 개수의 데이터만 보고 정확한 모집단의 분포를 아는 것은 불가능하므로 근사적으로 추정함

 

예측모형의 목표는 분포를 정확하게 맞추는것보다 데이터와 추정방법의 불확실성을 고려하여 위험을 최소화하는 것이다.

 

데이터가 특정 확률분포를 따른다고 선험적으로 가정하고 분포를 결정하는 방법론은 모수적 방법론

 

특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌면 비모수적 방법론

 

비모수적 방법론은 모수를 안쓴다는 것이 아니라 특별한 확률분포를 가정하지 않는 것이다.

 

기계학습의 대부분은 비모수적 방법론이다.

 

확률분포는 어느정도 가이드라인이 있다고는 하는데 큰 의미는 없다..

 

 

 

데이터를 생성한 원리나 전체적인 형태 등을 전부 고려하여 적절하게 선택해야함

 

선택하고나서도 분포마다 다른 검정방법등을 적용해야함

 

2. 최대가능도추정법(Maximum likelihood estimation)

 

데이터의 확률분포를 가정했다면 분포의 모수를 추정해야한다.

 

2-1) 대수의 법칙을 이용한 정규분포의 모수 추정

 

 

 

위 그림처럼 통계량의 기댓값이 모수와 같은 경우 그 통계량을 불편추정량이라 한다.

 

그러나 확률분포마다 모수가 다르며 적절한 통계량이 다르다.

 

심지어 어떻게 추정하느냐에 따라 동일한 모수에 대한 통계량이 다를 수도 있다.

 

최대가능도추정법은 이론적으로 가장 가능성이 높은 모수를 추정하는 방법이다.

 

가능도함수를 모수에 대해 최대화시킨다.

 

 

2-2) 왜 로그가능도함수인가?

 

가능도함수는 보통 서로 독립인 확률분포에 대해 확률함수의 곱으로 나타나는 경우가 일반적이므로

 

로그함수의 성질인 곱을 ‘합으로 바꿔주는 성질’을 이용하여 로그가능도함수를 최적화한다.

 

일반적인 가능도함수는 확률의 곱으로 나타나는데 확률이 매우 작은 경우 컴퓨터 연산은 곱하면 0으로 소실되는 문제가 발생한다.

 

그러나 로그가능도함수는 합으로 바꿔주면서 계산이 가능해지게 만든다.

 

특히 최적화할때 미분연산에 있어서 $O(N^{2})$에서  $O(N)$으로 변한다.

 

대개 손실함수는 음의 로그가능도로 나타나며 손실함수를 최소화시키는 문제는 로그가능도를 최대화시키는 문제와 동일하다.

 

 

2-3) 정규분포의 최대가능도 추정법

 

 

 

 

 

 

 

특히 분산의 최대가능도추정량이 위에서 구한 불편추정량과는 다르다.

 

보통 최대가능도추정량이 항상 불편추정량은 아니다.

 

그러나 일치추정량이다.

 

 

2-4) 최대가능도추정량의 성질?

 

최대가능도추정량은 표본의 크기 n이 충분히 크면 parameter에 확률수렴한다.(consistency)

 

 

 

최대가능도추정량은 함수적으로 불변이다(Functional invariance)

 

 

 

적절한 조건(regular condition)하에 최대가능도추정량은 표본의 크기 n이 충분히 크면 최소 분산을 가지고 정규분포에 수렴한다.(asymptotically efficiency & normality)

 

 

 

2-5) 다항분포의 최대가능도 추정법

 

 

 

 

 

 

 

라그랑주 승수를 이용한 최적화

 

 

 

 

 

최대가능도추정량은 직관적으로 각 클래스에 속하는 비율과 실제로 같다

 

 

3. 딥러닝에서 최대가능도추정법

 

딥러닝에서 softmax 함수는 다항분포를 modeling한다고 볼 수 있다.

 

최대가능도추정량을 구하는 식이 크로스 엔트로피를 최소화하는 문제와 동일하다는 사실을 알 수 있다.

 

 

 

$MLP_{\theta}(X_{i})_{k}$는 다층퍼셉트론에 input x를 넣어 k번째 class로 예측할 확률이다

 

input x의 i번째의 정답값 $y_{i,k}$과 k번째 class로 예측할 확률 MLP의 곱으로 나타난다