Loading...
2022. 11. 10. 02:01

추천시스템 기본이론2 -collaborative filtering-

1. motivation 상품을 추천하고자하는 사용자가 x일때, x와 유사한 취향을 가지는 여러 사용자들을 찾는다. 이 유사한 취향을 가지는 여러 사용자들이 선호한 상품들을 찾는다. 이 상품들을 x에게 추천하고자 하는 방법이 협업 필터링이다. 2. idea 유사한 취향의 사용자들을 찾는 것이 핵심인데 어떻게 찾아야 할까? 위와 같은 상황을 상상해보자. 평점이 입력되지 않는 경우도 존재한다. 그리고 한눈에 보면 지수와 제니는 취향이 비슷하고 제니와 로제는 취향이 서로 반대된다. 지표로 어떻게 나타내냐? 평점간 상관계수로 두 사람의 취향의 유사도를 구하는 것이다. 공동 구매한 상품을 가정하고 있는데 2명중 평점을 1명만 제시한 경우 그 상품은 상관계수 계산에 제외하겠다는 것이다. 당연하지만 분자를 보면 같은..

2022. 5. 23. 04:16

피어슨 상관계수, 스피어만 상관계수, 켄달의 타우 완벽비교

1. 상관계수(correlation coefficient) 두 변수의 통계적 관계를 나타내는 상관관계의 정도를 수치로 나타낸 값 -1부터 1까지의 값을 가지며, 0인 경우는 상관관계가 없다고 말한다. 세가지 성질을 가지는 것이 좋다. 1)두 변수의 값이 완전한 부합이면 +1, 완전한 비부합이면 -1 2)두 변수가 서로 독립이면 0 3)두 변수에 대해 크기의 순서가 보존되는 변환을 수행해도 상관계수의 값은 변하지 않는다 수치를 확인하기 전에 산점도(scatter plot)를 먼저 그리고 수치적으로 파악하는 것이 기본 2. 피어슨 상관계수(pearson) 두 변수 X,Y의 선형적 관계(linear relationship)의 측도 선형적 관계가 강하다는 것은 선형모형에 의해 두 변수의 관계를 잘 모델링할 수 ..

2021. 10. 4. 00:48

결정계수에 대한 오해

1. 결정계수에 대한 오해 결정계수(coefficient of determination) $R^2$은 많은 교재에서나 제곱이라는 그 모습 $R^2$때문에 0이상 1이하라고 오해하기 쉬운데 사실 결정계수는 음수일 수 있다 2. 제곱합 모든 독립변수 x에 대하여 종속변수 y를 가집니다. 가장 적합한 회귀직선을 그려 x의 값에 대하여 y의 값을 예측하고자 합니다. 2-1) 잔차제곱합 y의 예측값을 $\hat{y}$ 이라고 한다면 회귀직선이 예측한 값과 실제 y값의 차이를 이용해 error를 계산할 수 있습니다. 이러한 차이 error를 제곱하여 더한 것을 잔차제곱합이라 부르고 보통 SSE라고 표현합니다. $$SSE = \sum (y-\bar{y})^2$$ 2-2) 전체제곱합 다음으로 실제 y의 평균값을 계산할..