1. 인공지능, 바둑을 넘보다 바둑도 체스처럼 정석이 어느정도 있을테니, 적절히 활용하여 계산해야하는 경우의 수를 줄여나가면 어떨까? 바둑은 그렇게 한다해도 체스처럼 계산을 해낼 수 없습니다. 계산해야하는 게임 트리가 지나치게 크기 때문이다. 체스의 게임 트리 크기만해도 우주의 원자 수보다 많은데, 바둑은 이보다도 훨씬 크다. 딥 블루가 승리한 직후 1997년 천체물리학자이자 바둑 애호가인 피에트 헛은 "바둑에서 컴퓨터가 사람을 이기려면 100년은 걸릴 것이다. 어쩌면 더 걸릴 수도 있다"라고 언급했다. 가로세로 19줄, 총 361개의 점으로 이루어진 바둑판에서 가능한 수를 계산해보는 건 얼핏 상상만 해도 불가능해 보인다. 고등학생 때 배운 순열을 이용해 단순하게 계산해볼까? 361개의 점에 순서대로 무..
1. little O notation 두 함수 f(x)와 g(x)가 어떤 a에 대하여 $$\left| f(x) \right| \leq \varepsilon g(x)$$ 를 만족하는 모든 양의 상수 $\varepsilon $ 이 $0< \left| x-a \right| < \delta$에서 존재하게 하는 $\delta $가 존재한다면, $$f(x) = o(g(x))$$ x →a 라고 표현한다. 동일한 말로 g(x)가 0이 아닐때, $$f(x) = o(g(x))$$ x →a 는 $$\displaystyle \lim_{ x \to a} \frac{f(x)}{g(x)} = 0$$과 동치이다. 근데 일단 이거는 그냥 극한으로 이해하는게 편한것 같다 2. 직관적인 이해 $$\displaystyle \lim_{ x ..
1. sequence data 사건의 발생 순서에 따라 순차적으로 들어오는 데이터 말소리, 문자열, 주가, 비디오, 시계열, 동작(motion) 데이터 독립이고 서로 동등한 분포를 따르지 않는다(iid가 아니다.) 데이터의 순서를 바꾸면 확률분포가 바뀐다. 과거의 정보나 앞뒤의 맥락을 이용하지 않으면 미래를 예측하는 것이 어렵다. 순서에 관한 정보를 어떻게 반영해야할지 어려워 다루기 어려운 데이터이다. 심지어 입력의 차원이 어디까지 될지를 모른다. 바꿔말하면 sequence data를 다룬 모델은 입력의 차원이 다르더라도 동작할 수 있는 모델이어야한다. 2. 조건부확률을 이용한 모델링 sequence data는 이전에 발생한 정보를 이용하므로 이전 사건이 발생했다는 가정하에 현재 데이터가 발생할 확률을 ..
1. word embedding sequence data의 정보단위인 단어들을 특정한 공간 상의 한 점, 벡터로 표현하는 기법 써야 하는 이유는 위에서도 서술했지만 딥러닝 모델들이 수치를 다루니까, 단어 그대로 넣을 수 없어서 그렇다 word embedding은 그 자체로도 하나의 머신러닝 기술이다. 텍스트 데이터, 공간상 차원 등을 학습 데이터로 주고 학습 후 다른 단어의 최적의 embedding vector를 구한다. 모든 embedding 기법을 관통하는 핵심아이디어는 비슷한 의미를 가지는 단어들은 공간 상에서 비슷한 위치에 두고 그렇지 않은 단어들은 먼 거리에 두어 단어들의 의미 유사도를 반영한 벡터 표현을 제공하는 것이다. ‘cat’ 과 ‘kitty’는 의미상 비슷하므로 서로 비슷한 위치에 두고..
1. naive bayes classifier의 문제점 만약 test sentence d내에 존재하는 특정 단어 $w_{i}$가 train data에서 특정 class C=c내에 1번도 존재하지 않으면 $P(w_{i}|c)$는 0이므로 test의 sentence d는 다른 단어의 조건부확률과 무관하게 무조건 P(c|d)=0이다. 다른 단어는 다 존재하지만 단 하나의 단어만이라도 이런 경우가 발생하면 무조건 예측확률이 0이라는 사실이 굉장히 억울한 부분이다. 2. laplace smoothing 특정 class C=c에 test내 특정 단어 $w_{i}$가 속할 조건부확률을 laplace smoothing을 이용하여 구하면 그러니까 원래 구하는 식에 smoothing 상수 k를 더해준 것 상수 k는 확률에..
만약 $w_{1},w_{2},...w_{n}$이 $c$가 주어질 때 서로 조건부독립이라면 \[P(w _{1},w _{2},....,w _{n}|c)= \prod _{i=1} ^{n} P(w _{i} |c)\]이다? $n=2$라고 한다면 \[P(w _{1}|w _{2} ,c)=P(w _{1} |c)\]이므로 \[\frac{P(w _{1} ,w _{2} ,c)}{P(w _{2} ,c)}=\frac{P(w _{1} ,c)}{P(c)}\] 식을 정리하면 \[\frac{P(w _{1} ,w _{2} ,c)}{P(c)}= \frac{P(w _{1} ,c)}{P(c)}\frac{P(w _{2} ,c)}{P(c)}\] 그러므로 \[P(w _{1},w _{2}|c)=P(w _{1} |c)P(w _{2} |c)\] $n=..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
