bias and variance trade off

1. variance

 

variance는 출력의 일관성을 측정한다. 즉 입력값이 달라지더라도 출력이 얼마나 일관적인지 알아보는 값이다.

 

variance가 작을수록 출력이 일관적이다.

 

보통 간단한 모형일 수록 low variance고 복잡한 모형일수록 high variance

 

low variance일수록 좋은데 왜냐하면 bias만큼 모형을 shift시키면 true value를 정확히 예측하는 좋은 모형을 얻는다.

 

 

2. bias

 

bias는 얼마나 평균적으로 true value에 몰려있는가를 측정한다.

 

착각하면 안되는 것이 단순히 얼마나 몰려있는가가 아니라 true value에 몰려있는가를 측정하는 것

 

true value에 몰려있을 수록 작다

 

 

bias와 variance를 둘 다 줄이는 것이 사실 베스트

 

 

3. ‘bias and variance trade off’

 

noise가 있는 데이터에서 cost는 bias의 제곱과 variance, noise의 합으로 나타난다.

 

단순히 bias가 증가하면 variance가 감소하고 variance가 증가하면 bias가 감소하는 그런 말이 아니다.

 

 

코스트가 bias 제곱과 variance, noise의 합이므로 bias와 variance가 trade off 관계에 있다.

 

그래서 bias와 variance를 둘 다 줄이는 것은 어렵다