다양한 sequential model들

1. naive sequence model

 

조건부확률을 이용한 모델링

 

과거 정보가 얼마나 들어올지 모르기 때문에 사실상 사용하기 어렵다

 

 

과거 정보는 input data이고 이것을 이용하여 현재 시점의 데이터를 예측

 

 

2. autoregressive model

 

과거정보가 얼마나 들어올지 모르는 어려움을 해소하는 가장 쉬운 방법은

 

고정된 길이의 과거 자료만 사용하는 자기회귀모형(autoregressive model)

 

 

3. Markov model

 

자기회귀모형의 일종으로 AR(1)을 Markov model이라고 한다.

 

오직 바로 이전 시점의 데이터만 현재 시점에 영향을 미치는 경우에 사용

 

 

결합확률분포의 표현이 쉬워지지만 현실적으로 절대 말이 안되는 AR(1) 모형

 

많은 과거 정보를 버릴 수 밖에 없다.

 

 

4. Latent autoregressive model

 

하나의 problem에서 사용하고자 하는 과거 데이터 수가 다를 수도 있다.

 

이것을 해결한 것이 잠재변수 모형(latent variable model)

 

과거 모든 정보의 적절한 함수를 잠재변수 ht라 하면 이것은 0,1,2,3,....,t-1까지의 정보를 요약해서 가지고 있는 변수

 

 

전체적으로 보면 조건부확률분포가 결국 1개의 변수에만 depend되어 쉬워진다

 

물론 ht는 과거 모든 정보의 적절한 함수이다

 

이것이 바로 RNN의 기본 아이디어

 

이 잠재변수를 신경망을 통해 반복학습해나감