internal covariate shift 현상을 해결하기 위해 등장 layer를 지날수록 layer의 parameter의 변화에 따라 dataset의 분포가 변화한다고 생각한 것이다. 위와 같이 data가 layer를 지나가면서 분포가 변화한다고 생각한 것이 covariate shift 그런데 진짜있는 것인지는 논란이 많다 batch normalization은 각 layer마다 batch set을 normalization하여 분포의 변형을 막겠다는 것이다. batch의 평균과 분산을 구해서 각 입력값을 normalize 시킨다 마지막 $\gamma , \beta$는 normalize하면 activation의 nonlinearity를 잃어버리기 때문에 이를 조정하기 위함이고 학습해야하는 paramete..
1. 신경망(neural network) 보통 인간의 뇌에서 애매하게 영감받아 만들어낸 컴퓨팅 시스템?이라고 말한다 왜 신경망이 성능이 좋을까? 인간의 뇌를 모방해서 잘 작동한다? 꼭 그렇지는 않다 왜냐하면 역전파 알고리즘이 우리 뇌에서 작동하는가? 그렇지는 않잖아 수학적으로 신경망은 affine transformation(행렬 변환)과 nonlinear transformation의 순차적이고 반복적인 곱의 형태로 구해지는 함수 근사 모형이다. 신경망은 선형모형과 비선형함수인 활성화함수의 합성함수이다. 활성화함수는 기본적으로 선형모형의 결과를 원하는 방향으로 해석하게 도와준다. 활성화함수를 쓰지 않으면 딥러닝은 선형모형과 차이가 없다 2. linear neural network 일반적으로 잘 아는 기본 ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
