1. Word2Vec, 언어를 숫자로 바꾸다 2013년 구글은 단어의 의미를 벡터로 표현하는 매우 획기적인 방법을 발표합니다. 그 방법의 이름은 Word2Vec으로, 단어를 벡터로 바꾼다는 매우 직관적인 이름입니다. 무엇보다 놀랍도록 정교하게 단어의 의미를 표현해내 많은 이가 깜짝 놀랐습니다. 이처럼 단어를 벡터라는 숫자로 표현하는 것은 단어 각각의 특징을 추출해 수치화하는 것과 비슷합니다. 예를 들어 '단맛', '크기', '둥근 정도'라는 3가지 특징으로 단어 '캐러멜', '호박', '태양'을 표현해보죠. 관련이 전혀 없다면 0.01, 관련이 매우 높다면 0.99까지 가중치를 준다고 해봅시다. 단어 단맛 크기 둥근 정도 캐러멜 0.92 0.06 0.02 호박 0.23 0.29 0.62 태양 0.01 0..
1. 좌표, 기하학을 숫자로 바꾸다 17세기 이전까지 수학은 크게 기하학과 대수학으로 나뉘었습니다. 원의 넓이 같은 도형의 성질을 다루는 수학이 기하학이고, 2차방정식 같이 문자와 수를 다루는 수학이 대수학이죠. 이전까지는 둘을 서로 다른 영역으로 취급했습니다. 그러던 어느 날, 르네 데카르트는 침대에 누워 있다가 천장에 붙어 있는 파리를 보았습니다. 그리고 재미있는 생각을 떠올렸습니다. '어떻게 하면 파리가 천장의 어느 위치에 붙어있는지, 정확하게 표현할 수 있을까?' 그리고 데카르트는 좌표(coordinates)라는 개념을 고안합니다. 이는 서로 다른 분야로 여겨지던 기하학과 대수학의 개념을 하나로 합쳐낸 혁신적인 발상이었습니다. 데카르트는 좌표의 개념을 에 공개합니다. 이 책에는 '나는 생각한다. ..
1. 컴퓨터, 만능 기계의 모습을 갖추다 기계가 인간의 언어를 이해한다는 개념은 가장 먼저 컴파일러(compiler)에서 찾아볼 수 있습니다. 컴퓨터와 프로그래밍에 대해 조금이라도 배경지식이 있는 분은 컴파일러에 관해 한번쯤은 들어본 적이 있을 거에요. 컴파일(compile)이란 한 언어를 다른 언어로 바꿔주는 과정입니다. 예를 들면 영어를 한국어로 바꾸는 과정이 컴파일입니다. 컴퓨터에 비유하면 인간이 이해하는 고수준 언어(C++, 자바, 파이썬)를 기계가 이해하는 저수준 언어(기계어)로 바꾸는 과정을 칭하죠. 컴파일러 개념은 컴퓨터 역사에서 아주 중요한 의미를 지닙니다. 왜냐하면 컴파일러가 등장하면서, 비로소 컴퓨터는 계산기를 넘어 비즈니스에도 활용할 수 있는 만능 기계의 모습을 갖추었기 때문이죠 2...
1. 컴퓨터와 대화할 수 있을까 이루다는 국내 스타트업이 개발한 챗봇입니다. 자유 주제 대화시스템(Open Domain Dialogue System)을 기반으로 어떤 주제로든 자유롭게 대화할 수 있는 인공지능을 이루었다는 의미로 이름 지은, 스무 살의 소녀로 설정된 챗봇입니다. 십수년 전에 '심심이'라는 챗봇이 큰 인기를 끈 적이 있었습니다 수백 가지 규칙을 입력한 챗봇은 규칙에 맞게 질문이 들어오면 이에 해당하는 대답을 해주었습니다. 규칙 기반의 챗봇은 한계가 분명 있었지만, 심심이는 나름대로 풍부한 규칙으로 이름처럼 심심치 않게 대화를 이어나갈 수 있었고, 많은 사람이 대화에 빠져들게 됩니다. 1966년 MIT의 컴퓨터 과학자 요제프 바이첸바움은 세계 최초의 챗봇 일라이자(ELIZA)를 개발합니다. ..
1. 언어의 규칙을 파악하고자 하다 지금까지 살펴본 내용을 정리해보겠습니다. 기계번역은 오래전 등장해 큰 관심을 받았지만, 뚜렷한 성과로 이어지지 못하면서, 오랜 침체기에 빠져있었습니다. 구글이 통계에 기반한 기계번역 서비스를 출시한 것은 2006년이었지만, 당시만 해도 그리 좋은 결과를 보여주진 못했습니다. 시스트란이 1968년부터 시도했던 규칙 기반과 큰 차이가 없었죠. 특히 영어-한국어 번역처럼 언어 구조가 많이 다른 경우에는 형편없는 결과를 보여주었습니다. 그나마 어순이 서로 비슷한 일본어-한국어 번역에서 규칙 기반으로 어느 정도 품질을 보장할 수 있었습니다만 이런 경우는 일부에 불과했죠. 우리가 학창 시절에 언어를 배울 때의 기억을 떠올려봅니다. 먼저 명사, 동사, 형용사 등을 구분하는 법을 배..
1. 신경망 기반, 자연스러운 번역의 시작 2010년대 들어 드디어 딥러닝이 주목받기 시작합니다. 먼저 구문 기반으로 분석하는 방식에 딥러닝을 적용해봅니다. 그리고 우리나라의 조경현 교수가 몬트리올대학교에서 박사 후 과정 중에 성공적인 결과를 넀습니다. 이때부터 바야흐로 딥러닝을 본격적으로 기계번역에 도입합니다. 이후에는 구문 단위를 넘어 아예 문장 전체에 딥러닝을 적용하죠. 이를 신경망 기반 기계번역(Neural Machine Translation)이라고 합니다. 그렇다면, 신경망 기반 기계번역은 어떻게 작동할까요? 앞서 단어 기반에서 구문 기반으로 확장하면 보다 자연스러운 문장이 나온다고 얘기한 바 있습니다. 신경망 기반은 한발 더 나아가 문장 전체를 마치 하나의 단어처럼 통째로 번역해서 훨씬 더 자..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
