1. 언어의 규칙을 파악하고자 하다 지금까지 살펴본 내용을 정리해보겠습니다. 기계번역은 오래전 등장해 큰 관심을 받았지만, 뚜렷한 성과로 이어지지 못하면서, 오랜 침체기에 빠져있었습니다. 구글이 통계에 기반한 기계번역 서비스를 출시한 것은 2006년이었지만, 당시만 해도 그리 좋은 결과를 보여주진 못했습니다. 시스트란이 1968년부터 시도했던 규칙 기반과 큰 차이가 없었죠. 특히 영어-한국어 번역처럼 언어 구조가 많이 다른 경우에는 형편없는 결과를 보여주었습니다. 그나마 어순이 서로 비슷한 일본어-한국어 번역에서 규칙 기반으로 어느 정도 품질을 보장할 수 있었습니다만 이런 경우는 일부에 불과했죠. 우리가 학창 시절에 언어를 배울 때의 기억을 떠올려봅니다. 먼저 명사, 동사, 형용사 등을 구분하는 법을 배..
1. 언어의 모든 규칙을 찾아 번역하다 기계번역을 대표하는 회사로 1968년 설립한 시스트란이 있습니다. 이제는 50년이 훌쩍 넘는 역사를 자랑하는 이 회사는 헝가리 출신의 컴퓨터 과학자 피터 토마 박사가 설립했습니다. 초창기 기계번역을 연구해 2000년대 초반까지는 야후!와 구글에 제품을 납품할 정도로 세계 최고의 번역 품질을 자랑했습니다. 시스트란은 규칙 기반의 기계번역(rule-based machine translation)을 이용했습니다. 언어학자들이 일일이 정의한 규칙을 수십 년간 쌓아올렸고, 이를 이용해 당시 기준으로는 가장 높은 품질의 번역 서비스를 제공했습니다. 하지만 쉽게 예상할 수 있듯 규칙 기반에는 한계가 있습니다. 규칙을 아무리 세워도 언어의 무궁무진한 변화를 결코 따라갈 수 없기 ..
1. 규칙으로 컴퓨터가 글을 이해하게 할 수 있을까 인간의 입에서 나온 음성 파형을 텍스트 문장으로 바꿨다면, 이때부터 컴퓨터는 또 다른 어려운 문제에 직면합니다. 문장의 의미를 알아내는 일입니다 과거 애플 컴퓨터용으로 출시됐던 세계 최초 어드벤처 게임인 콜로설 케이브 어드벤처(colossal cave adventure)는 이 문제를 아주 쉽게 처리했습니다 게이머가 단 두 단어만 사용할 수 있도록 정했습니다. 모든 명령어는 "Go West(서쪽으로 가)", "Grab Ax(도끼를 잡아)" 이런 식이었죠 얼핏 봐도 규칙은 매우 간단합니다. 동사 + 명사 형태였습니다. 출시된 연도가 1976년도였으니 당시 기술로는 어쩔 수 없는 일이기도 했습니다. 이런 경우 언어를 이해하는 방식은 매우 간단합니다. 띄어쓰기..
1. 아마존 알렉사, 스마트 스피커의 시대를 열다 첫 음성인식 비서는 애플의 시리였지만, 스마트 스피커라는 카테고리를 처음 만든 회사는 아마존입니다. 원래 제품명은 '플래시'라는 이름의 원통형 스피커였다고 합니다. 그러나 마지막에 에코라는 이름으로 바꾸었고 2014년 세계 최초의 스마트 스피커를 세상에 내놓았죠 오늘날 에코는 전 세계에 1억 대가 넘게 팔린 베스트셀러이며, 미국 시장조사 기업 이마케터가 조사한 바에 따르면, 미국 가정에 있는 스마트 스피커의 약 70%가 에코라고 합니다 에코를 부르는 호출어가 처음에는 '아마존'이었다고 합니다. 제프 베이조스는 제품 개발 막바지까지 아마존을 고집했으나 엔지니어들은 아마존이라는 단어가 일상 대화에서 너무 흔하게 나오지 않을까 걱정했습니다 아마존은 이미 세상에..
1. 랭킹에 올라가느냐, 방어하느냐 창과 방패의 싸움 구글이나 네이버의 검색 결과에서 상위를 차지하면 엄청난 트래픽을 가져올 수 있습니다 특히 돈에 관련한 쿼리라면 더더욱 그렇죠 예를 들어 네이버에 '꽃배달'이라는 쿼리를 입력했을때, 1등으로 올라오는 사이트가 있다면, 엄청난 매출을 기대할 수 있겠죠? 그래서 '검색엔진 최적화, SEO, Search Engine Optimization'를 시도하는 업체들은 여러가지 실험을 해보면서 랭킹을 높이기 위해 끊임없이 도전합니다 구글에는 200여가지 랭킹 조건이 있는데 검색엔진 최적화는 이들 조건 사이에서 바늘구멍같은 빈틈을 찾아 랭킹을 올리기 위해 끊임없이 노력하는 거죠 이를 위해 다양한 수단을 동원합니다. 다양한 메타 태그를 부여해보기도 하고, 인기있는 키워드..
1. trend GPT,BERT,ELECTRA 등의 괴물 모델은 size를 키우면서 압도적인 성능을 냈지만 pre-training 시키는데만 많은 계산량, GPU resource 등이 너무 많이 필요하다. 그래서 일반인들이 다양한 연구나 현업에서 사용하기에는 쉽지 않다. 기존의 큰 모델의 성능을 거의 유지하면서도 계산속도나 메모리 사용량에서 개선시키는데 초점을 두어 경량화 연구가 진행되고 있다. 심지어 소형 device 휴대폰에도 모델을 돌릴 수있게 만든다고???? 2. knowledge distillation https://arxiv.org/pdf/1503.02531.pdf https://light-tree.tistory.com/196 딥러닝 용어 정리, Knowledge distillation 설명과..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
