1. deep learning의 기본 인공지능을 단순하게 정의하면 ‘사람의 지능을 모방하는 것’ 딥러닝이 인공지능의 모든 것은 아니다. 2. 딥러닝의 핵심요소 모델이 배워야할 data, 데이터를 어떻게 변형시킬지 model, 모델의 나쁜 정도를 측정하는 loss function, loss를 최소화하는 parameter를 추정하는 알고리즘(optimizer) 4가지만 논문에서 정확히 보더라도 해당 논문의 거의 대부분을 이해할 수 있는 수준 2-1) data 데이터(data)는 풀고자하는 문제에 따라 다르다 semantic segmentation > 이미지의 픽셀이 어느 class에 속할지 pose estimation > 이미지의 스켈레톤(동작)을 추정함 visual QnA > 시각이미지를 보고 질문에 대한..
1. motivation single stage detector들은 ROI pooling이 없어서 모든 영역을 고려하여 gradient를 계산(모든 영역에서 loss가 발생) 이미지 내 물체라는 것은 사실 몇개 없다 그래서 물체를 포함하는 positive sample bounding box보다 물체를 포함하지 않은 negative sample bounding box가 압도적으로 많은 경우가 빈번하다 왜 문제냐면 negative sample bounding box는 실제 물체에 대한 유용한 정보가 없는데 이게 너무 많다는 것이 비효율적 대부분의 single stage detector들이 이런 문제가 있다고 보면 됨 2. focal loss cross entropy인 $-log(p_{t})$의 확장형으로 $..
classification에서 가장 자주쓰는 cross entropy loss에 대해 생각해보면 binary classification의 경우 $$L(y) = -ylog(p)-(1-y)log(1-p)$$ $y$는 true value이고 $p$는 모델이 $y=1$로 예측할 확률이다. 이 cross entropy loss가 자주 쓰이지만 항상 좋은 선택일까?? 예측하고자 하는 데이터가 실제 정답이 y=1인 경우 loss를 계산하면 $$L(y=1)=-ylog(p)=-log(p)$$ 실제 정답이 y=0인 경우는 $$L(y=0)=-(1-y)log(1-p)=-log(1-p)$$ loss가 오직 true value를 예측할 확률에만 의존한다는 것이다. true value가 1일 때 loss의 그래프를 그림으로 나타냈..
1. Entropy는 무엇인가 self information이 하나의 사건에 대한 정보량이면 Entropy는 전체 확률분포가 가지는 정보량이라고 볼 수 있다. 확률변수 $M$의 Entropy는 $M$이 가질 수 있는 모든 사건의 평균적인 정보량으로 $M$의 정보량의 기댓값이다. $$H(M)=E(I(M))= \sum _{m} ^{} I(M)P(M=m)=- \sum _{m} ^{} P(M=m)logP(M=m)=-E(log(P(M))$$ 확률분포가 가지는 불확실성의 측도이고 확률분포가 가지는 모든 정보량이다. 2. 예시로 알아보는 Entropy 기계 X는 A, B, C, D를 각각 0.25의 확률로 출력 반면, 기계 Y는 A : 0.5, B: 0.125, C: 0.125, D: 0.25의 확률로 출력한다고 가..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
