vector space 개념 간단하게

https://deepdata.tistory.com/37 선형대수학 기본 용어 -상급자편 4-1. vector space 추상적으로는 벡터들의 집합이지만 일반적으로는 임의의 $v _{1} ,v _{2} \in V$와 scalar c에 대하여 $v _{1}+v _{2} \in V$를 만족시키고 $cv _{1} \in V$를 만족시키면 $V$를 vector space라고 부릅니다.deepdata.tistory.com https://deepdata.tistory.com/39 선형대수학 기본 용어 -상급자편 5-1. dimension vector space $V$의 basis의 원소의 개수를 $V$의 dimension이라고 부르고 기호로 dim(V)로 표시합니다. 모든 vector space는 basis를 가지..

• format_list_bulleted 선형대수학
• · 2024. 8. 24.
• textsms

convolution layer의 parameter 세는 방법 대충

1. Convolution neural network convolution layer와 pooling layer에 의한 feature extraction fully connected layer에 의한 decision making으로 이루어지는 neural network fully connected layer는 convolution layer에 비해 parameter가 많으니까 없애려고하는 것이 대세이다. 일반적으로 학습하고자하는 모델의 parameter 수가 커질수록 학습이 어려워지고 generalization performance도 떨어진다 generalization performance = 학습한 모델이 test data에 얼마나 잘 동작하는지 convolution layer를 최대한 deep하게 만..

• format_list_bulleted 딥러닝 기초
• · 2023. 1. 3.
• textsms

dense embedding과 sparse embedding 비교

1. passage embedding 하나의 단락 passage를 embedding으로 변환하는 것 주어진 단락이 가지는 뜻을 담는 숫자를 가지는 벡터에 mapping하는 것이 목표 passage embedding은 문서를 벡터로 변환하는 것이다. 2. sparse embedding TF-IDF같은 embedding은 벡터 크기가 매우 크지만 0인 숫자가 대부분인 sparse vector이다. 기반이 bag of words로 vocab의 특정 단어가 문서에 있는 경우만 nonzero가 되므로 거의 대부분 90%이상의 원소가 0인 경우가 종종 발생함 차원 수가 매우 큰 경우가 대부분인데 compressed format으로 어느 정도는 극복 가능함 예를 들어 nonzero 위치와 그 값만 저장하여 공간을 절..

• format_list_bulleted Machine Reading Comprehension
• · 2022. 5. 24.
• textsms

1*1 convolution은 왜 중요한가?

1*1 크기의 kernel을 input에 적용시키면 input의 모든 pixel을 그대로 가져온다 1번 적용하면 output channel은 1이되므로 kernel 수를 적절하게 조절하면 spatial dimension은 그대로 가져오면서 channel만 줄이는 효과가 있다 왜 사용하는가? 그림에서 보이지만 spatial dimension인 256*256을 input에서 output 그대로 가져오면서 channel수를 줄이는 효과를 가진다 convolution을 깊게 만들면서 parameter 수를 줄이는 획기적인 아이디어

• format_list_bulleted Computer Vision
• · 2022. 2. 8.
• textsms