구현하면서 배우는 weight initialization(가중치 초기화) 중요성

가중치 초기화(weight initialization)은 모델을 만들고 훈련하기 전에 한번 수행을 한다 좋은 가중치 초기화는 모델이 optimal point에 더 빠르게 다가갈 수 있게 한다 1. 상수 가중치(all zero or one) occam's razor(경제성의 원리)에 따르면 모든 가중치 값을 동일한 상수로 가정하는게 최적의 솔루션일 수 있다 모든 weight가 동일하다면, 각 layer의 뉴런이 동일한 output을 내놓기 때문에 모델이 어떤 weight를 바꿔야 최적해를 찾는지 결정하기 어려워서 training을 어렵게 한다 FashionMNIST 데이터셋에 동일한 MLP 모델을 training하는데 가중치를 모두 0으로 초기화하는거랑 1로 초기화하면... 2. random weight ..

• format_list_bulleted 딥러닝/딥러닝 기초
• · 2023. 9. 13.
• textsms

누적확률분포함수(cumulative probability distribution)에 대하여

확률변수 X의 누적확률분포함수(cumulative distribution function)라는 것은 모든 실수 x에 대하여 $$F(x)=P(X \leq x)$$으로 정의되는 함수를 말합니다. 누적확률분포함수는 모든 확률변수에 대해 정의할 수 있으며 $$F(x)=P(X \leq x)$$로 하나의 확률이니까 어떠한 실수 x를 넣더라도 0과 1사이의 값을 가집니다. 그리고 그 이름에서도 알 수 있듯이 확률을 누적해서 더한다는 의미를 가져서 증가함수(increasing function)입니다. 일반적으로 알고 있는 normal distribution이나 uniform distribution이나 binomial distribution 같은 여러 분포들은 유일한 누적확률분포함수를 갖습니다. 무슨 말이냐면 누적확률분..

• format_list_bulleted 다시보는 통계학
• · 2021. 12. 6.
• textsms