딥러닝의 핵심요소

1. deep learning의 기본

 

인공지능을 단순하게 정의하면 ‘사람의 지능을 모방하는 것’

 

딥러닝이 인공지능의 모든 것은 아니다.

 

 

2. 딥러닝의 핵심요소

 

모델이 배워야할 data,

 

데이터를 어떻게 변형시킬지 model,

 

모델의 나쁜 정도를 측정하는 loss function,

 

loss를 최소화하는 parameter를 추정하는 알고리즘(optimizer)

 

4가지만 논문에서 정확히 보더라도 해당 논문의 거의 대부분을 이해할 수 있는 수준

 

 

2-1) data

 

데이터(data)는 풀고자하는 문제에 따라 다르다

 

semantic segmentation > 이미지의 픽셀이 어느 class에 속할지

 

pose estimation > 이미지의 스켈레톤(동작)을 추정함

 

visual QnA > 시각이미지를 보고 질문에 대한 대답을 해줌?

 

Detection > 이미지 안 물체의 bounding box를 찾아줌

 

 

2-2) model

 

model은 AlexNet, LSTM, GoogleNet 등 다양한데 같은 데이터라도 모델의 성질에 따라 결과가 다를 수 밖에 없다

 

 

2-3) loss function

 

loss function도 성질과 문제 종류에 따라 MSE, Cross entropy 등이 있다.

 

어떻게 선택해야하는지에 따른 기계적인 정답은 없다

 

데이터에 noise가 많은 경우 회귀문제에 MSE를 loss로 사용하는데 outlier가 매우 커서 MSE가 매우 커지면 학습이 잘 안될 것이다

 

 

2-4) optimization

 

loss를 줄이는 알고리즘인 Optimization 기법도 여러 특성에 대해 이해하고 적절하게 선택하는 것이 중요하다

 

단순하게 loss를 줄이는 것이 딥러닝의 목적은 아니다.

 

loss만 줄여서는 train에는 성능이 좋더라도 test에는 성능이 안좋을 수 있다

 

모델이 학습하지 않은 데이터에도 동작하게 하는 것이 진정한 목적 중의 하나

 

 

3. 기계학습의 기본 원리

 

예측이 틀릴 위험을 최소화하도록 데이터를 학습하는 것이 중요하다.

 

회귀분석은 L2norm으로 구한 예측 오차의 분산을 최소화

 

분류 문제에서는 교차 엔트로피를 이용하여 예측의 불확실성을 최소화

 

그러면 분산과 불확실성은 어떻게 측정하는가? 통계학을 이용한다.