면접에서 batch normalization이 training하기 전에 실행하냐? training하면서 실행하냐? 이런걸 물어봤는데 batch normalization에 대해 몇가지를 배워보자 1. 핵심 아이디어 The idea is that, instead of just normalizing the inputs to the network, we normalize the inputs to layers within the network. network에 대한 input을 normalizing하는 것 대신에 network 내부의 layer에 대한 input을 normalizing함 It's called batch normalization because during training, we normalize e..
1. NetworkX 그래프를 생성, 변경, 시각화하고 구조와 변화를 분석하는 함수들을 제공하는 파이썬의 라이브러리 속도가 느리나 사용이 편함 비슷한 라이브러리로 Snap.py(아마 Snap이 이름이겠지??)는 속도가 빠르나 사용이 불편하다고함 2. 그래프 시각화 nx.Graph()로 무방향 그래프, nx.DiGraph()로 방향 그래프를 초기화 #그래프의 생성과 초기화 G = nx.Graph() # 방향성이 없는 그래프 DiGraph = nx.DiGraph() # 방향성이 있는 그래프 초기화된 그래프 객체에 add_node를 이용해 그래프에 node를 추가할 수 있음 G.add_node(1) print("Num of nodes in G: " + str(G.number_of_nodes())) print(..
1. introduction Vanilla RNN을 개선하였다. 그래서 gradient vanishing/exploding을 개선하여 좋은 성능을 보임 the problem of long term dependency를 해결하고자 time-step이 먼 경우에도 필요한 정보를 처리할 수 있도록 단기로 기억되는 hidden state 정보를 길게 가져오자. Vanilla RNN은 현재 input의 정보와 이전 시점의 hidden 정보를 조합하여 새로운 hidden 정보를 만든다. $$h_{t} = f_{w}(x_{t} + h_{t-1})$$ 반면 LSTM은 전 시점에서 다른 역할을 하는 2가지 정보와 input 정보를 이용함 $$f(C_{t}, h_{t}) = LSTM(X_{t}, C_{t-1}, h_{t-..
1. 군집(community) 군집은 다음 두가지 조건을 모두 만족하는 하나의 node 집합이다. 1) 집합에 속하는 node 사이에 충분히 많은 link가 있다.2) 그러한 집합에 속하는 node와 속하지 않는 node 사이에는 충분히 적은 link가 있다. 딱 봐도 수학적인 정의는 아니지만 눈으로 보기에 군집을 구별하는 것은 쉽다 2. example SNS의 군집들은 사회적으로 의미있는 사회적 무리(Social circle)를 형성 실제 SNS에서는 돈을 받고 팔로워를 늘려주는 경우도 많다. 하나의 조직 내 분란으로 인해 군집이 형성 내분으로 동아리가 둘로 나뉘었다는데?? 회사 내 이메일 네트워크나 보고체계를 분석하여 그래프로 나타내면 회사 커뮤니케이션이 얼마나 효율적인지 알아볼 ..
1. connected component connected component란 다음 두 조건을 모두 만족하는 node의 집합 1) 모든 node가 path로 연결이 가능하다 2) 하나의 node를 추가 했을 때 위 조건을 만족해서는 안된다. 쉽게 생각해서 서로 연결되어 모여있는 집합들이 연결요소다. {9} 하나의 경우도 위 network에서 하나의 연결요소다. 두번째 조건이 무슨 말인지 이해하기 어려운데 {1,2,3,4}의 경우 node 5를 추가하면 {1,2,3,4,5}는 첫번째 조건을 만족하므로 {1,2,3,4}는 연결요소가 아니라는 뜻이다. 2. giant connected component In many networks as the network grows the components get gra..
1. Backpropagation through time RNN의 backpropagation 알고리즘 모든 token을 계산하면서 ground truth와 비교하면서 loss를 최소화하는 방향으로 backpropagation을 통해 gradient를 계산 그런데 수백, 수천만 길이의 sequence면 한정된 GPU에서 계산이 불가 2. Truncated backpropagation through time 그러니까 일부 time을 잘라가지고 만든 여러개의 truncation을 만든다. 그래서 제한된 sequence를 가지는 truncation에서 backpropagation을 진행하고 다음 truncation에서도 진행하고 과정을 반복한다 자른 구간에서는 이제 GPU가 허용하는 한에서 backpropag..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
