1. 규칙으로 컴퓨터가 글을 이해하게 할 수 있을까 인간의 입에서 나온 음성 파형을 텍스트 문장으로 바꿨다면, 이때부터 컴퓨터는 또 다른 어려운 문제에 직면합니다. 문장의 의미를 알아내는 일입니다 과거 애플 컴퓨터용으로 출시됐던 세계 최초 어드벤처 게임인 콜로설 케이브 어드벤처(colossal cave adventure)는 이 문제를 아주 쉽게 처리했습니다 게이머가 단 두 단어만 사용할 수 있도록 정했습니다. 모든 명령어는 "Go West(서쪽으로 가)", "Grab Ax(도끼를 잡아)" 이런 식이었죠 얼핏 봐도 규칙은 매우 간단합니다. 동사 + 명사 형태였습니다. 출시된 연도가 1976년도였으니 당시 기술로는 어쩔 수 없는 일이기도 했습니다. 이런 경우 언어를 이해하는 방식은 매우 간단합니다. 띄어쓰기..
1. 음성인식은 생각보다 어려운 일이다 '음성인식'부터 살펴보겠습니다. 스피커는 어떻게 인간의 말을 알아듣는걸까요? 대번에 잘 알아듣는 것처럼 보이지만 사실 인간의 말을 알아듣는 과정은 생각보다 훨씬 복잡하고 정교합니다. 사람은 보통 문자보다 말을 먼저 익히기 때문에 음성인식이 문자인식보다 쉽지 않을까 생각할 수도 있지만 오히려 반대입니다. 우리가 모국어가 아닌 언어를 성인이 되어서 배울 때는 말보다는 글이 더 쉽게 느껴집니다. 컴퓨터도 마찬가지입니다. '모라벡의 역설'을 떠올리면 이해가 쉽습니다. 말을 배우는 것은 다섯 살배기 아이도 쉽게 하지만 컴퓨터는 그렇게 하지 못합니다. 더구나 컴퓨터 입장에서는 음성 언어의 가변성과 음성 자체에 내재하는 소음 등 여러 이유로 음성 인식이 문자인식보다 훨씬 더 까..
1. 유튜브 추천 시스템, 딥러닝을 도입하다 행렬 인수분해 기법은 딥러닝의 구조와 많이 닮아있습니다. 결과를 도출하기 위해 내재된 특성을 찾아 여러 차례 게산하는 구조가 마치 인공 신경망을 이용해 여러 차례 계산해나가는 과정과 비슷하죠 행렬 인수분해는 중간 구조가 없는 간결한 형태의 신경망 구조를 띠는 반면 딥러닝은 중간 구조가 깊은 신경망 구조를 보여줍니다. 이처럼 유사한 구조로 인해 최근에는 행렬 인수분해 대신 딥러닝으로 접근하려는 시도가 많이 있습니다. 2016년 공개된 유튜브의 추천 시스템도 행렬 인수분해를 딥러닝으로 바꿔서 더 좋은 성능을 낸 구조였죠. 깊은 신경망일수록 더 좋은 성능을 냈습니다. 물론 딥러닝이 제대로 성능을 내기 위해서는 엄청난 데이터가 필요하지만, 이미 유튜브에는 2019년에..
1. 은둔의 고수가 찾아낸 획기적인 추천 알고리즘 이번에는 협업 필터링 기법 중에 하나인 행렬 인수분해(matrix factorization)를 살펴보겠습니다. 고객/영화 살인의 추억 겨울왕국 부산행 건축학개론 추격자 태연 4 1 - - - 아이유 2 2 1 ? - 수지 2 3 1 5 - 민경 - 5 3 - 1 아이유와 수지는 마침 비슷한 평점을 주었고 어렵지 않게 유사한 고객임을 확인할 수 있었지만, 만약 평점이 한두개 영화가 아니라 수천개쯤 되고 점수 또한 제각각이라면 취향이 비슷한 고객을 찾는 일이 쉽지 않을 거에요. 행렬 인수분해는 제각각인 평점 정보를 이용해 고객의 특징을 자동으로 추출하고 뿐만 아니라 영화의 특징도 자동으로 추출해내서 이 정보를 바탕으로 고객의 평점을 예측합니다 이렇게 하면 좋..
1. 콘텐츠 기반 필터링 - 내가 좋아하는 것과 비슷한 것을 추천해준다 유튜브나 영화나 영상의 기본적인 추천 방식은 크게 다르지 않습니다 먼저 추천 시스템은 보통 다음과 같은 2가지 방식을 대표적으로 사용합니다. 1) 콘텐츠 기반 필터링(Content-based filtering) 내가 선호하는 영화와 비슷한 영화를 추천하는 방식 2) 협업 필터링(Collaborative filtering) 나와 비슷한 고객이 시청한 영화를 추천하는 방식 먼저 콘텐츠 기반 필터링부터 살펴보겠습니다. 콘텐츠 기반 필터링은 고객이 선호하는 영화의 특징에 기반해 유사한 영화를 추천해줍니다. 예를 들어 액션 영화를 선호하면 또 다른 액션 영화를, 공포 영화를 선호하면 또 다른 공포영화를 추천하는 식이죠 영화/특징 공포-드라마 ..
1. 맥주와 기저귀는 함께 팔린다 데이터 과학 분야에서 오랫동안 전설처럼 회자되는 얘기가 있습니다. 1990년대 미국의 한 슈퍼마켓 체인에서 맥주와 기저귀간에 강한 상관관계가 있다는 사실을 발견했습니다. 전혀 관련이 없어보이는 두 제품에 어떤 상관관계가 있는 걸까요? 알고 보니 수많은 남편이 퇴근길에 아내의 심부름으로 마트에 들러 기저귀를 사면서 맥주도 함께 구매했기 때문입니다. 뿐만 아니라 어떤 때는 맥주를 사기 위해 아내에게 일부러 "기저귀 사러 다녀올게"라고 핑계를 대면서 마트로 왔다는 거죠 이 사실을 발견한 이후에 기저귀 근처에 맥주를 진열하기 시작해서 매출을 더 높일 수 있었습니다. 이처럼 고객의 구매 내역을 분석하는 방식을 장바구니 분석(market basket analysis)이라고 합니다...
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
