1. Convolution neural network convolution layer와 pooling layer에 의한 feature extraction fully connected layer에 의한 decision making으로 이루어지는 neural network fully connected layer는 convolution layer에 비해 parameter가 많으니까 없애려고하는 것이 대세이다. 일반적으로 학습하고자하는 모델의 parameter 수가 커질수록 학습이 어려워지고 generalization performance도 떨어진다 generalization performance = 학습한 모델이 test data에 얼마나 잘 동작하는지 convolution layer를 최대한 deep하게 만..
1. passage embedding 하나의 단락 passage를 embedding으로 변환하는 것 주어진 단락이 가지는 뜻을 담는 숫자를 가지는 벡터에 mapping하는 것이 목표 passage embedding은 문서를 벡터로 변환하는 것이다. 2. sparse embedding TF-IDF같은 embedding은 벡터 크기가 매우 크지만 0인 숫자가 대부분인 sparse vector이다. 기반이 bag of words로 vocab의 특정 단어가 문서에 있는 경우만 nonzero가 되므로 거의 대부분 90%이상의 원소가 0인 경우가 종종 발생함 차원 수가 매우 큰 경우가 대부분인데 compressed format으로 어느 정도는 극복 가능함 예를 들어 nonzero 위치와 그 값만 저장하여 공간을 절..
1*1 크기의 kernel을 input에 적용시키면 input의 모든 pixel을 그대로 가져온다 1번 적용하면 output channel은 1이되므로 kernel 수를 적절하게 조절하면 spatial dimension은 그대로 가져오면서 channel만 줄이는 효과가 있다 왜 사용하는가? 그림에서 보이지만 spatial dimension인 256*256을 input에서 output 그대로 가져오면서 channel수를 줄이는 효과를 가진다 convolution을 깊게 만들면서 parameter 수를 줄이는 획기적인 아이디어
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
