시간에 따른 편향을 고려한 latent factor model

1. motivation 우연히 넷플릭스 시스템의 변화로 전체 영화들의 평점 평균이 급격히 상승한 사건이 관측 되었다.    심지어 영화의 평점은 출시일 이후부터 관측해보면 상승하는 경향이 있었음   어떤 영화로 인해 팬이 되면서 오랜 출시일이 지난 영화를 찾아본다거나 입소문이 나면서 평이 좋은 영화를 추천 받아서 본다거나 추천시스템이 좋다고 하는 것을 계속 보거나  2. idea 영화의 평점이 시간에 영향을 받는다는 것을 알았으므로 사용자의 편향과 상품의 편향이 시간의 함수라고 가정함   위 모형을 바탕으로 앞에서와 같이 모형의 복잡도까지 고려한 loss function을 구성하고  경사하강법으로 loss를 줄이면서 최적화시켜 사용자편향, 상품편향, 사용자 embedding, 상품 embedding을 ..

• format_list_bulleted recommendation system
• · 2024. 7. 19.
• textsms

사용자와 상품의 편향을 고려한 latent factor model

1. 편향(bias) 사용자의 편향은 해당 사용자가 매긴 평점들의 평균과 전체 상품들의 평점평균의 차이 전체 평점평균에 대해 이 사용자는 얼마나 평가를 후하게 하는지 박하게 하는지 알 수 있다.    나연은 전체 상품들의 평점평균에 비해 0.3점 정도 더 주는 경향이 있다. 상품의 편향은 해당 상품이 받은 평점들의 평균과 전체 상품들의 평점평균의 차이 해당 상품이 전체 상품의 평점평균에 비해 얼마나 좋은 평가를 받는지 나쁜 평가를 받는지 알 수 있다.   식스센스는 전체 상품들의 평점평균에 비해 0.8점정도 긍정적으로 평가 받는다 사용자와 상품의 편향은 현재 주어진 데이터로부터 계산한 예측값이다.  그러니까 정확한 상수가 아니라는 뜻이다.  데이터가 추가되면 사용자의 평점이나 상품의 평점은 바뀌기 때문에..

• format_list_bulleted recommendation system
• · 2024. 7. 17.
• textsms

latent factor model for recommendation system

1. motivation UV decomposition이라고도 부른다. (SVD라고도 부르나 수학에서 말하는 SVD랑은 조금 차이가 있음) 사용자와 상품그래프에서 사용자와 상품 node를 embedding vector로 잘 표현하는 것이 핵심이다.  2. example of embedding 사용자와 영화의 정보를 바탕으로 embedding한 예시    빨간색 네모부분 사람은 영화 브레이브하트와 리쏄 웨폰과 가까워서 이 영화를 추천하겠다 그러나 latent factor model의 핵심은  위와 같은 고정된 인수(액션, 로맨스 영화 등등)를 가지는 차원이 아닌  사용자와 상품의 정보를 효과적으로 학습하여 가장 추천을 잘 해줄법한 latent factor를 찾아내 그곳으로 embedding하겠다는 것이다...

• format_list_bulleted recommendation system
• · 2024. 7. 16.
• textsms

담금질 기법(simulated annealing) 배우고 최소 외접원 문제(smallest enclosing circle problem) 풀기

1. 담금질 기법(simulated annealing) 담금질 기법은 인공지능에서 말하는 gradient descent와 비슷하다. 목적함수를 설정하고, 해당 함수를 최적화하는 해를 찾는 것이다. 현재 답의 근처 해를 적당히 찾은 다음, 해가 더 좋아질 경우에는 갱신하고 해가 좋아지지 않을 경우에는 확률적으로 갱신하는 기법이다. 다항시간에 해를 찾기 어렵다고 생각되면 적당히 좋은 해를 찾기 위해 사용되는 휴리스틱(heuristic) 방법이다. 마치 금속을 뜨거운 온도에 담금질하여 원하는 금속으로 만드는 과정과 비슷하다고 하여 이름 붙여진 듯 하다. 원하는 금속으로 만들려면 적절한 온도에 담그는게 중요한데, 담금질 기법의 핵심은 온도 설정에 있다. 인공지능의 gradient descent에서도 weight..

• format_list_bulleted 휴리스틱
• · 2023. 10. 18.
• textsms

backpropagation의 개괄적인 설명

손실함수를 가중치나 절편에 대해 최소화시키는 방법 L이 loss이고 W는 가중치 b는 절편 손실함수를 가중치나 절편에 대해 최소화시키는 방법 그런데 미분값을 계산하는 과정에서 최상층에서 최하층으로, 역으로 미분 계산이 진행된다해서 Backpropagation이라 부른다. 합성함수 미분법에 의한 연쇄법칙이 기반 예제) 2층신경망의 역전파 알고리즘 방법은? 비슷한 방식으로 도 구할 수 있다. 확률적 경사하강법 등을 이용하여 손실함수 L을 최소화시키는 방향으로 가중치 W와 절편 b을 계속 갱신해나감

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 26.
• textsms

경사하강법(gradient descent)의 한계

1. 선형회귀분석 주어진 n개의 데이터에서 이들을 가장 잘 설명하는 선형모형을 찾는다 이전에는 무어펜로즈 역행렬을 이용하여 찾았다 무어펜로즈 역행렬을 이용하여 오차의 norm을 최소화하여 회귀계수 $\beta$를 찾는다. 무어펜로즈 역행렬은 컴퓨터 계산 시간 측면에서 비효율적이다 변수 수 m에 따라 $O(m^{2})$이라고 한다. 대안으로 경사하강법을 이용하여 회귀계수를 추정할 수 있다. 2. 선형회귀분석에서의 경사하강법 선형회귀분석은 위에서도 보였지만 $$y-X\beta$$ 의 norm을 최소화하는 $\beta$를 찾는것. 그러므로 $$y-X\beta$$ 의 norm을 $\beta$로 미분한 그래디언트 벡터를 구한다 그래디언트 벡터를 구하면 경사하강법을 이용하여 $\beta$에 그래디언트 벡터를 빼서 얻은..

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 2.
• textsms