1. Fully connected 연산 기존의 MLP는 가중치 행렬에서 각 행마다 다른 가중치 행들이 각각 Hidden vector에 연결되는 구조다. 이게 단점은 parameter가 많아서 계산량이 많아진다. 2. Convolution 연산 고정된 가중치 행렬 kernel을 입력벡터상에 움직여가면서 모든 hidden vector에 연결시키는 전략은 어떨까? parameter 수가 엄청나게 줄어들어 계산이 쉬워진다. 심지어 행렬곱이니까 여전히 선형변환이다. 3. Convolution 함수 공식은 다음과 같다. 참고로 convolution은 변수변환을 시켜서 교환법칙이 성립한다는 것을 보일 수 있다. 커널을 이용해 신호를 국소적으로 증폭 또는 감소시켜 정보를 변환하거나 추출하는 방식으로 signal pro..
1. 그래프의 수학적인 표현 그래프는 “정점 집합과 간선 집합으로 이루어진 수학적 구조”라고 정의했으므로 정점의 집합을 V, 간선의 집합을 E라 하여 G=(V,E)로 표기 2. Neighbor 어떤 node의 neighbor은 그 node와 직접적으로 연결된 모든 node의 집합 V의 neighbor을 N(V)로 표기 자기 자신은 Neighbor라고 하진 않아 3. directed graph directed graph에서는 나가는 neighbor와 들어오는 neighbor을 구분한다. 어떤 node V에서 link가 나가는 방향으로 연결된 node는 V의 outcoming neighbor라 하고 $N_{out}(V)$로 표기 link가 node V로 들어오는 방향으로 연결된 node는 V의 incomin..
1. Fully connected layer Neural network는 방대한 데이터를 모두 활용할 수 있도록 제한된 복잡도의 system에 압축하여 넣는 것 가장 간단한 single layer로 Perceptron이라고 부르는 Fully connected layer를 생각했다. input image에 대해 하나의 feature를 뽑기 위해 모든 pixel을 각각 서로 다른 가중치로 연결한 것이다 모든 pixel을 서로 다른 가중치의 sum을 하여 nonlinear activation function을 넣어 하나의 classification score를 뽑아낸다 2. Perceptron의 첫번째 문제점 이 간단한 모델을 먼저 matrix 형태로 바라본다면? 각 이미지 pixel 구조에 weight를 그..
1. Naive bayes classifier bag of words로 얻은 sentence나 document를 특정 category로 분류하는 모델링중 가장 간단한 것이 naive bayes classifier d개의 문서(input)가 c개의 class에 분류될 수 있다면 특정한 문서 d는 어떤 클래스로 분류하는 것이 합리적인가? d가 주어질 때 모든 c에 대해 C=c의 조건부확률이 가장 높은 c에 분류하는 것이 합리적이다. 사후확률을 가장 높이는 maximum a posteriori 베이즈 정리를 이용하면 위 식은 아래와 같아진다. 그런데 주목할 점은 우리는 특정한 문서 d에 주목한다는 것이다. 특정한 문서 d가 뽑힐 확률 P(d)는 하나의 상수일 것이다. 상수 값은 최대화하는데 의미가 없으므로 P..
1. directed graph link에 방향성이 없고 두 node가 대등한 관계를 가질 수 있는 경우 undirected graph link에 방향성이 있어서 두 node의 주체와 대상의 관계가 확실하고 의미있는 경우 directed graph 페이스북 친구는 서로 친구가 되어있어야 가능하므로 대등한 관계를 가져서 방향이 없는 그래프 인용 그래프의 경우 논문을 누가 인용했는지, 인용의 대상이 무엇인지 분명하므로 방향성이 있는 그래프 트위터 팔로우 그래프는 내가 태연을 트위터 팔로우 하더라도 태연은 나를 팔로우 하지 않잖아 두 node사이에서 양쪽 방향으로 관계를 맺을 수도 있다. 물론 오른쪽 표기를 굳이 쓰진 않는다 사실 어느정도 주관적인 개념이다. 왜냐하면 주체와 대상의 관계가 있음에도 큰 의미가 ..
1. 기계번역의 연구 트렌드 1-1) translation based on rule 기계번역 문제는 연구자들이 수십년간 노력했던 분야로 딥러닝 이전에는 전문가들이 직접 언어간 문장구조를 고려한 rule 기반 번역을 수행했다. I love this movie라는 영어 문장을 나는 이 영화를 사랑한다.로 번역하기 위해서는 먼저 I , love, this, movie 단어별로 번역을 수행했다. 영어와 한글의 문법은 다르기 때문에 한글의 문법을 고려한 어순배열을 수행해야했다. 그러나 다양한 언어의 수많은 변수들을 일일이 고려하기에는 너무나 어렵다. 1-2) translation in RNN RNN이라는 딥러닝 기술의 등장은 이러한 고민을 해결했다. 언어학적 rule없이 단지 (영어 원문, 번역문)의 쌍으로 된 ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
