AI 모델 성능 평가 지표로 loss function은 왜 사용하지 않는가?

1. loss function 데이터의 실제 정답과 모델이 내놓은 예측값의 차이로 정의되는 함수 그렇다면 이렇게 생각할 수 있다. loss function의 값이 작을수록 모델의 성능이 좋은 것인가? 여러 모델을 학습시켜보고 loss function의 값이 작은 모델을 선택하면 되는 것 아닌가? 2. loss function과 evaluation metric loss function은 딥러닝 모델 학습 중에 사용되고, 모델이 예측한 출력과 실제 출력 간의 차이를 측정 이 차이를 최소화함으로써 모델의 파라미터를 최적화하는 것이 목적이다. 반면 evaluation metric은 모델을 훈련하고 나서 사용되며, 모델이 새로운 데이터에 대해 얼마나 잘 일반화하고, 정확한 예측을 하는지 평가하는 지표이다. 또한..

• format_list_bulleted 딥러닝/딥러닝 기초
• · 2025. 4. 19.
• textsms

triplet loss 개념 알아보기

sound source localization의 unsupervised learning에서 설명한 방식이 사실 triplet loss를 이용한 것이다. metric learning의 일종 기준이 되는 image data에 대응하는 audio data를 positive data라고 하고 (fv,fs+)라고 표시하자. 반대로 image data에 대응하지 않는 데이터는 negative data라고 하고 (fv,fs-)라고 표시한다. 위에서 fv는 지금 동일한 기준 데이터임   직관적으로 fv와 fs+ 는 서로 대응하는 관계니까 거리가 가까워야하고 fv와 fs-는 서로 대응하지 않으니까 거리가 멀어야한다.  공간상에 positive data는 가깝게 negative data는 멀게 분리하여 배치하는 것이 tr..

• format_list_bulleted 딥러닝/Computer Vision
• · 2024. 9. 14.
• textsms

knowledge distillation 간단하게

이미 학습된 큰 규모의 teacher network가 있다면 작은 student network 학습시 teacher network의 지식을 전달하여 학습을 시키자.  1. 일반적인 방법 주어진 input x를 pretrained teacher model과 student model에 넣어서 output을 낸다 teacher model의 경우 softmax(T=t)를 사용하여 soft label을 내놓고 student model은 softmax(T=1)의 hard label과 softmax(T=t)의 soft label을 모두 내놓는다   A부분에서는 student model의 hard prediction을 이용하여 ground truth와의 cross entropy를 이용한 일반적인 training이 이루..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 15.
• textsms

시간에 따른 편향을 고려한 latent factor model

1. motivation 우연히 넷플릭스 시스템의 변화로 전체 영화들의 평점 평균이 급격히 상승한 사건이 관측 되었다.    심지어 영화의 평점은 출시일 이후부터 관측해보면 상승하는 경향이 있었음   어떤 영화로 인해 팬이 되면서 오랜 출시일이 지난 영화를 찾아본다거나 입소문이 나면서 평이 좋은 영화를 추천 받아서 본다거나 추천시스템이 좋다고 하는 것을 계속 보거나  2. idea 영화의 평점이 시간에 영향을 받는다는 것을 알았으므로 사용자의 편향과 상품의 편향이 시간의 함수라고 가정함   위 모형을 바탕으로 앞에서와 같이 모형의 복잡도까지 고려한 loss function을 구성하고  경사하강법으로 loss를 줄이면서 최적화시켜 사용자편향, 상품편향, 사용자 embedding, 상품 embedding을 ..

• format_list_bulleted 딥러닝/recommendation system
• · 2024. 7. 19.
• textsms

사용자와 상품의 편향을 고려한 latent factor model

1. 편향(bias) 사용자의 편향은 해당 사용자가 매긴 평점들의 평균과 전체 상품들의 평점평균의 차이 전체 평점평균에 대해 이 사용자는 얼마나 평가를 후하게 하는지 박하게 하는지 알 수 있다.    나연은 전체 상품들의 평점평균에 비해 0.3점 정도 더 주는 경향이 있다. 상품의 편향은 해당 상품이 받은 평점들의 평균과 전체 상품들의 평점평균의 차이 해당 상품이 전체 상품의 평점평균에 비해 얼마나 좋은 평가를 받는지 나쁜 평가를 받는지 알 수 있다.   식스센스는 전체 상품들의 평점평균에 비해 0.8점정도 긍정적으로 평가 받는다 사용자와 상품의 편향은 현재 주어진 데이터로부터 계산한 예측값이다.  그러니까 정확한 상수가 아니라는 뜻이다.  데이터가 추가되면 사용자의 평점이나 상품의 평점은 바뀌기 때문에..

• format_list_bulleted 딥러닝/recommendation system
• · 2024. 7. 17.
• textsms

latent factor model for recommendation system

1. motivation UV decomposition이라고도 부른다. (SVD라고도 부르나 수학에서 말하는 SVD랑은 조금 차이가 있음) 사용자와 상품그래프에서 사용자와 상품 node를 embedding vector로 잘 표현하는 것이 핵심이다.  2. example of embedding 사용자와 영화의 정보를 바탕으로 embedding한 예시    빨간색 네모부분 사람은 영화 브레이브하트와 리쏄 웨폰과 가까워서 이 영화를 추천하겠다 그러나 latent factor model의 핵심은  위와 같은 고정된 인수(액션, 로맨스 영화 등등)를 가지는 차원이 아닌  사용자와 상품의 정보를 효과적으로 학습하여 가장 추천을 잘 해줄법한 latent factor를 찾아내 그곳으로 embedding하겠다는 것이다...

• format_list_bulleted 딥러닝/recommendation system
• · 2024. 7. 16.
• textsms