1. RNN의 기본 구조 일반적으로 데이터 사이에 서로 영향을 주지 않고 시간적 정보가 없는 경우가 많다. 하지만 시계열과 같은 순차적 데이터(sequential data)는 과거가 미래에 영향을 주므로 데이터 사이에 독립을 가정한 모형을 적합시키면 좋은 성능을 기대하기 어렵다. Recurrent Neural Network(RNN)는 음성 인식과 자연어 처리와 같이 순차적 데이터에 사용되는 대표적인 알고리즘 Long Short term memory(LSTM)와 Gated Recurrent Unit(GRU)의 근간이 되는 모델 인공신경망과 CNN은 입력층에서 은닉층으로, 은닉층에서 출력층으로 움직이는 순방향 신경망(Feed forward neural network) 반면 RNN은 입력층에서 출력층(x ->..
1. 언어의 규칙을 파악하고자 하다 지금까지 살펴본 내용을 정리해보겠습니다. 기계번역은 오래전 등장해 큰 관심을 받았지만, 뚜렷한 성과로 이어지지 못하면서, 오랜 침체기에 빠져있었습니다. 구글이 통계에 기반한 기계번역 서비스를 출시한 것은 2006년이었지만, 당시만 해도 그리 좋은 결과를 보여주진 못했습니다. 시스트란이 1968년부터 시도했던 규칙 기반과 큰 차이가 없었죠. 특히 영어-한국어 번역처럼 언어 구조가 많이 다른 경우에는 형편없는 결과를 보여주었습니다. 그나마 어순이 서로 비슷한 일본어-한국어 번역에서 규칙 기반으로 어느 정도 품질을 보장할 수 있었습니다만 이런 경우는 일부에 불과했죠. 우리가 학창 시절에 언어를 배울 때의 기억을 떠올려봅니다. 먼저 명사, 동사, 형용사 등을 구분하는 법을 배..
1. 신경망 기반, 자연스러운 번역의 시작 2010년대 들어 드디어 딥러닝이 주목받기 시작합니다. 먼저 구문 기반으로 분석하는 방식에 딥러닝을 적용해봅니다. 그리고 우리나라의 조경현 교수가 몬트리올대학교에서 박사 후 과정 중에 성공적인 결과를 넀습니다. 이때부터 바야흐로 딥러닝을 본격적으로 기계번역에 도입합니다. 이후에는 구문 단위를 넘어 아예 문장 전체에 딥러닝을 적용하죠. 이를 신경망 기반 기계번역(Neural Machine Translation)이라고 합니다. 그렇다면, 신경망 기반 기계번역은 어떻게 작동할까요? 앞서 단어 기반에서 구문 기반으로 확장하면 보다 자연스러운 문장이 나온다고 얘기한 바 있습니다. 신경망 기반은 한발 더 나아가 문장 전체를 마치 하나의 단어처럼 통째로 번역해서 훨씬 더 자..
1. 문제 22964번: conv1d (acmicpc.net) 22964번: conv1d A = [1, 1], B = [1] : 1 1 A = [1, 1], B = [2] : 2 2 A = [1, 2], B = [1] : 1 2 A = [1, 2], B = [2] : 2 4 A = [2, 1], B = [1] : 2 1 A = [2, 1], B = [2] : 4 2 A = [2, 2], B = [1] : 2 2 A = [2, 2], B = [2] : 4 4 1+2+1+2+2+4+2+4 = 18 1+2+2+4+1+2+2+4 = 18 www.acmicpc.net 입력데이터와 필터가 주어질때, 1차원 convolution 연산을 수행하는 문제 2. 풀이 역시 만만한 문제가 아니다 단순히 곱하는거면 문제가 아닌..
1. 음성 합성, 딥러닝이 주도할까 음성 합성 분야는 딥러닝이 가장 빠르게 발전하는 분야이기도 합니다. 그동안 규칙 기반이 매번 통계기반, 특히 딥러닝에 주도권을 모두 내준 것처럼 음성 합성도 언젠가 딥러닝으로 교체되는 것은 시간문제라고 많은 이가 예상하죠. 최근에는 문장 전체를 딥러닝으로 합성하려는 시도도 많이 하고 있습니다. 이때도 성우의 목소리를 녹음한 데이터가 필요한 것은 동일합니다. 하지만 기존에는 정해진 문장을 녹음하고, 단순히 필요한 단어들을 조합하여 문장을 만들었다면 딥러닝을 이용한 음성 합성은 성우가 몇 시간 동안 자유롭게 녹음한 데이터를 학습해 어떤 문장이든 성우 목소리를 기반으로 합성해낸다는 차이가 있죠 물론 음성을 합성하는 일이 쉽지는 않습니다. 자연어는 억양이 오르내리고, 속도가 ..
1. 명령을 수행해주는 다이얼로그 매니저 다이얼로그 매니저의 역할은 하나에 국한되지 않습니다. 앞서 음성인식이나 자연어 이해가 자신의 역할에 맞는 특정 기능만 수행했다면 다이얼로그 매니저는 사실상 그 이외의 모든 작업을 수행합니다. 앞에서 슬롯 필링을 위해서는 멀티 턴(여러번의 대화)이 필요했습니다. 이 경우 대화 내용을 기억해두어야 하고, 궁금한 내용은 외부 지식 기반 서비스에 연결하여 찾아보기도 해야 하는데, 이런 기능을 모두 다이얼로그 매니저가 수행합니다. 무엇보다 여러 도메인에 맞춰 적절한 행동을 수행하도록 명령을 내리는 역할을 합니다. 대표적으로 음악을 틀거나 날씨를 조회하라는 명령을 내리는거죠. 물론 다이얼로그 매니저가 직접 음악을 틀거나 할 수 있는 건 아닙니다. 말 그대로 매니저이기에 음악..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
