1. 딥러닝은 왜 갑자기 잘 동작하는가? 딥러닝이 갑자기 잘 동작하게 된 이유중 하나로 알고리즘의 발전을 들 수 있다. 과거 인공 신경망 시절 해결할 수 없는 문제도 많았고 제대로 학습할 수 있는 방법도 알지 못했다. 그러나 끝까지 연구를 이어온 일부 연구자 덕분에 제대로 학습할 수 있는 방법을 찾아냈다. 딥러닝은 머신러닝의 일종으로 머신러닝과 비슷한 방식으로 작동한다. "데이터와 정답을 입력하면 스스로 규칙을 찾아낸다" 그러나 딥러닝은 기존의 머신러닝에 비해 훨씬 더 크고 풍부한 역량을 지닌 모델이다. 훨씬 더 많은 데이터를 학습할 수 있고, 훨씬 더 풍부한 규칙을 찾아낼 수 있다. 이러한 딥러닝의 특징이 돋보이는 분야가 바로 기계번역이다. 요즘 기계번역은 전문 번역가가 직접 작업한 듯 자연스러운 번역..
신경망을 학습할 때 가중치를 초기화하고 update해야하는데 어떻게 초기화해야 학습에 좋을까? 단순히 0으로 시작해버린다면 gradient가 0으로 계산되는 경우가 많을 것. 너무 큰 값으로 시작한다면, 계산된 activation이 너무 커질 것. 단순한 예시로 위와 같은 신경망에서, bias = 0이라고 가정한다면... z = W1(W2(W3...(Wn(X))..))로 계산되는데, n개의 weight들의 곱에 input X의 곱으로 중간 output이 계산된다. 만약 weight들의 원소가 1보다 작은 값들이라면.. weight들을 곱할수록 0에 가까워진다. 하지만, 1보다 조금이라도 크다면 weight들을 많이 곱할수록 매우 커진다. 그러다보니 weight들을 처음에 어떤 값들로 시작하는게 딥러닝 학..
손실함수를 가중치나 절편에 대해 최소화시키는 방법 L이 loss이고 W는 가중치 b는 절편 손실함수를 가중치나 절편에 대해 최소화시키는 방법 그런데 미분값을 계산하는 과정에서 최상층에서 최하층으로, 역으로 미분 계산이 진행된다해서 Backpropagation이라 부른다. 합성함수 미분법에 의한 연쇄법칙이 기반 예제) 2층신경망의 역전파 알고리즘 방법은? 비슷한 방식으로 도 구할 수 있다. 확률적 경사하강법 등을 이용하여 손실함수 L을 최소화시키는 방향으로 가중치 W와 절편 b을 계속 갱신해나감
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
