1. 은둔의 고수가 찾아낸 획기적인 추천 알고리즘 이번에는 협업 필터링 기법 중에 하나인 행렬 인수분해(matrix factorization)를 살펴보겠습니다. 고객/영화 살인의 추억 겨울왕국 부산행 건축학개론 추격자 태연 4 1 - - - 아이유 2 2 1 ? - 수지 2 3 1 5 - 민경 - 5 3 - 1 아이유와 수지는 마침 비슷한 평점을 주었고 어렵지 않게 유사한 고객임을 확인할 수 있었지만, 만약 평점이 한두개 영화가 아니라 수천개쯤 되고 점수 또한 제각각이라면 취향이 비슷한 고객을 찾는 일이 쉽지 않을 거에요. 행렬 인수분해는 제각각인 평점 정보를 이용해 고객의 특징을 자동으로 추출하고 뿐만 아니라 영화의 특징도 자동으로 추출해내서 이 정보를 바탕으로 고객의 평점을 예측합니다 이렇게 하면 좋..
1. 넷플릭스부터 유튜브까지, 추천서비스의 역사 "오늘도 알 수 없는 유튜브 알고리즘이 나를 여기로 이끌었다" 유튜브에서 가장 자주 볼 수 있는 댓글입니다. 그만큼 유튜브의 추천 알고리즘은 사람의 마음을 읽는다고 해도 과언이 아니죠 실제로 유튜브는 서비스 대부분이 추천으로 구성되어 있습니다. 홈 화면도 추천이고 영상을 보고 나면 바로 밑에 나오는 관련 동영상도 모두 추천이죠. 통계에 따르면, 유튜브에서 사람들이 보는 영상 중 70%는 알고리즘이 추천한 영상이라고 합니다. 사실 추천 알고리즘을 얘기할 때 유튜브보다도 넷플릭스를 얘기안할 수가 없습니다. 심지어 넷플릭스는 스트리밍 서비스를 시작하기도 전, DVD를 우편으로 배달하던 시절인 2006년부터 그 유명한 넷플릭스 프라이즈를 개최하죠 한 편의 영화를 ..
1. 추천 시스템이란 무엇인가 1-1) example 아마존의 웹페이지에서는 이전에 구매한 상품을 바탕으로 앞으로도 구매할 법한 상품을 추천해줌 심지어 함께 구매하면 좋은 상품도 추천해줌 영어 써진거 보니까 이미 해당 상품을 산 사람이 또 산 상품을 추천해주는 것 같네 스팀처럼 이전에 본 영화를 바탕으로 추천 이유를 명시해주면서 비슷한 영화를 추천해줌 유튜브는 그동안 본 영상을 바탕으로 맞춤형 추천 영상을 제시함 1-2) recommendation system on graph 추천 시스템은 사용자가 구매할만한, 혹은 선호할법한 상품을 추천 사용자별 구매 기록은 그래프로 표현할 수 있다. 평점을 통한 명시적인 선호를 표현할 수도 있고 단순히 구매기록만 나타낸 암시적인 선호를 표현할 수도 있다. 추천 시스템..
1. 유사도 점수만으로 검색 결과를 내놓을까 지금까지 랭킹을 이해하기 위해 꽤 기나긴 과정을 거쳤습니다. 점수를 구하려 계산하다 보니 수학을 많이 사용했습니다. 좋은 랭킹 공식을 만들기 위해 좋은 알고리즘을 사용하는 것과 함께 수학 실력도 매우 중요합니다. 랭킹의 결과는 최종적으로 사용자에게 노출된다는 점에서 검색엔진 기술의 꽃이라고 할 수 있습니다. 그렇다면 검색엔진은 최종 순위를 어떻게 정할까요? 직전에 살펴본 유사도 점수가 순위를 결정하는 중요한 요인이긴 하지만 유사도 점수만 높다고 항상 1등이 되진 않습니다 철인 3종 경기에서 마라톤이 가장 중요하다 해도 결국은 수영, 사이클, 마라톤 세 종목의 모든 시간을 합산하여 1등을 정하는 것과 유사하죠 마찬가지로 지금까지 살펴본 최신, 품질, 유사도에 더..
1. 그래프로 표현하는 웹 웹은 웹페이지와 하이퍼링크로 포함된 거대한 방향성 그래프다 웹페이지를 node, 하이퍼링크를 다음 웹페이지를 향하는 link로 볼 수 있다. 물론 웹페이지는 하이퍼링크와 무관한 keyword정보를 포함한다 웹페이지의 하이퍼링크를 클릭하여 링크가 가리키는 다음 웹페이지로 이동할 수 있다 2. pagerank는 왜 등장했을까 2-1) 거대한 디렉토리 수십억에서 수백억개가 있을 것이라고 추측하는 웹페이지에서 원하는 정보를 어떻게 찾을 수 있을까? 먼저 전 세계에 존재하는 모든 웹을 카테고리로 구분하여 하나의 디렉토리로 저장했다. 97년도의 네이버 모습으로 카테고리로 웹을 저장했다는 것이 보인다 시간이 흐르면서 카테고리 수와 깊이는 무한정 증가할 것이고 심지어 카테고리 구분은 모호해지..
1. node classification node가 여러가지 유형을 가질 때 각 node의 유형을 추측하는 문제 아래 그림은 사용자 계정 간 리트윗 정보를 그래프로 표현하여 각 리트윗이 나타내는 정치적 성향을 분석하여 크게 2가지 색깔로 나타냄 같은 정치적 성향을 가지는 사람끼리는 서로 트윗 공유를 할 가능성이 높을 것이다. 같은 색을 가지는 node들이 서로 모여있다는 것을 알 수 있다. 위와 같은 분석결과에 정치적 성향을 모르는 새로운 node가 추가되었다면 공유관계를 분석하여 새롭게 분류할 수 있을 것 단백질의 상호작용을 분석하여 단백질의 유형을 나누는 문제 2. link prediction 주어진 그래프가 어떤 식으로 연결되면서 성장할지 거시적으로 link를 예측하는 문제 페이스북의 진화 페이스북..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
