1. 언어의 모든 규칙을 찾아 번역하다 기계번역을 대표하는 회사로 1968년 설립한 시스트란이 있습니다. 이제는 50년이 훌쩍 넘는 역사를 자랑하는 이 회사는 헝가리 출신의 컴퓨터 과학자 피터 토마 박사가 설립했습니다. 초창기 기계번역을 연구해 2000년대 초반까지는 야후!와 구글에 제품을 납품할 정도로 세계 최고의 번역 품질을 자랑했습니다. 시스트란은 규칙 기반의 기계번역(rule-based machine translation)을 이용했습니다. 언어학자들이 일일이 정의한 규칙을 수십 년간 쌓아올렸고, 이를 이용해 당시 기준으로는 가장 높은 품질의 번역 서비스를 제공했습니다. 하지만 쉽게 예상할 수 있듯 규칙 기반에는 한계가 있습니다. 규칙을 아무리 세워도 언어의 무궁무진한 변화를 결코 따라갈 수 없기 ..
1. 구글 번역, 갑자기 품질이 좋아지다? 2016년 겨울, 에 "위대한 인공지능, 깨어나다"라는 흥미로운 제목의 기사가 올라왔습니다. 이 기사는 진정한 인공지능의 시대가 열렸다는 놀라운 내용을 담고 있었습니다. 발단은 이렇습니다. 2016년 11월 초 어느 금요일 늦은 밤, 온라인으로 강의를 준비하던 도쿄대학교의 레키모토 준이치 교수는 구글 번역의 품질이 갑자기 엄청나게 좋아졌다는 사실을 깨닫습니다. 호기심에 그는 한밤중에 잠도 잊은 채 구글 번역을 실험합니다. 먼저 에서 문장을 뽑아 무라카미 하루키가 일본어로 번역한 문장과 구글이 번역한 문장의 품질을 비교했습니다. 무라카미 하루키의 번역에서는 하루키의 문체가 느껴졌습니다. 오히려 구글이 번역한 문장이 훨씬 더 직관적이고 이해하기가 쉬웠습니다. 불과 ..
1. 음성 합성, 딥러닝이 주도할까 음성 합성 분야는 딥러닝이 가장 빠르게 발전하는 분야이기도 합니다. 그동안 규칙 기반이 매번 통계기반, 특히 딥러닝에 주도권을 모두 내준 것처럼 음성 합성도 언젠가 딥러닝으로 교체되는 것은 시간문제라고 많은 이가 예상하죠. 최근에는 문장 전체를 딥러닝으로 합성하려는 시도도 많이 하고 있습니다. 이때도 성우의 목소리를 녹음한 데이터가 필요한 것은 동일합니다. 하지만 기존에는 정해진 문장을 녹음하고, 단순히 필요한 단어들을 조합하여 문장을 만들었다면 딥러닝을 이용한 음성 합성은 성우가 몇 시간 동안 자유롭게 녹음한 데이터를 학습해 어떤 문장이든 성우 목소리를 기반으로 합성해낸다는 차이가 있죠 물론 음성을 합성하는 일이 쉽지는 않습니다. 자연어는 억양이 오르내리고, 속도가 ..
1. 명령을 수행해주는 다이얼로그 매니저 다이얼로그 매니저의 역할은 하나에 국한되지 않습니다. 앞서 음성인식이나 자연어 이해가 자신의 역할에 맞는 특정 기능만 수행했다면 다이얼로그 매니저는 사실상 그 이외의 모든 작업을 수행합니다. 앞에서 슬롯 필링을 위해서는 멀티 턴(여러번의 대화)이 필요했습니다. 이 경우 대화 내용을 기억해두어야 하고, 궁금한 내용은 외부 지식 기반 서비스에 연결하여 찾아보기도 해야 하는데, 이런 기능을 모두 다이얼로그 매니저가 수행합니다. 무엇보다 여러 도메인에 맞춰 적절한 행동을 수행하도록 명령을 내리는 역할을 합니다. 대표적으로 음악을 틀거나 날씨를 조회하라는 명령을 내리는거죠. 물론 다이얼로그 매니저가 직접 음악을 틀거나 할 수 있는 건 아닙니다. 말 그대로 매니저이기에 음악..
1. 규칙으로 컴퓨터가 글을 이해하게 할 수 있을까 인간의 입에서 나온 음성 파형을 텍스트 문장으로 바꿨다면, 이때부터 컴퓨터는 또 다른 어려운 문제에 직면합니다. 문장의 의미를 알아내는 일입니다 과거 애플 컴퓨터용으로 출시됐던 세계 최초 어드벤처 게임인 콜로설 케이브 어드벤처(colossal cave adventure)는 이 문제를 아주 쉽게 처리했습니다 게이머가 단 두 단어만 사용할 수 있도록 정했습니다. 모든 명령어는 "Go West(서쪽으로 가)", "Grab Ax(도끼를 잡아)" 이런 식이었죠 얼핏 봐도 규칙은 매우 간단합니다. 동사 + 명사 형태였습니다. 출시된 연도가 1976년도였으니 당시 기술로는 어쩔 수 없는 일이기도 했습니다. 이런 경우 언어를 이해하는 방식은 매우 간단합니다. 띄어쓰기..
1. 음성인식은 생각보다 어려운 일이다 '음성인식'부터 살펴보겠습니다. 스피커는 어떻게 인간의 말을 알아듣는걸까요? 대번에 잘 알아듣는 것처럼 보이지만 사실 인간의 말을 알아듣는 과정은 생각보다 훨씬 복잡하고 정교합니다. 사람은 보통 문자보다 말을 먼저 익히기 때문에 음성인식이 문자인식보다 쉽지 않을까 생각할 수도 있지만 오히려 반대입니다. 우리가 모국어가 아닌 언어를 성인이 되어서 배울 때는 말보다는 글이 더 쉽게 느껴집니다. 컴퓨터도 마찬가지입니다. '모라벡의 역설'을 떠올리면 이해가 쉽습니다. 말을 배우는 것은 다섯 살배기 아이도 쉽게 하지만 컴퓨터는 그렇게 하지 못합니다. 더구나 컴퓨터 입장에서는 음성 언어의 가변성과 음성 자체에 내재하는 소음 등 여러 이유로 음성 인식이 문자인식보다 훨씬 더 까..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
