1. 데이터 전처리란? 머신러닝 모델에 데이터를 입력할 수 있도록 적절하게 처리하는 과정 EDA를 위해 데이터 구조를 바꿔서 처리하는 것도 하나의 전처리 과정 EDA 목적이나 모델에 입력데이터를 어떻게 넣어줄 것인가에 따라 달라진다 EDA에서 어떤 부분을 찾고싶은가에 따라서도 달라짐 선형모델이냐 트리모델이냐 딥러닝모델이냐에 따라서도 달라짐 데이터 전처리도 정답이 없지만 어느정도 기본은 있다 머신러닝 모델에 데이터를 입력하기 위한 과정이라는 것을 염두에 두고 연속형, 범주형을 처리 & 결측치 처리 & 이상치 처리 2. 예시로 이해하는 연속형 변수 전처리 sklearn에 있는 boston data 506개의 데이터 포인트, 13개의 변수 CHAS만 범주형이고 나머지는 연속형 target은 집값의 중위수라는데..
연속형확률변수 $X$의 확률밀도함수가 $f(x)$일 때 연속형 확률변수 $X$의 기댓값은 \[E(X)=\int_{}^{}xf(x)dx\] 이산형 확률변수 $X$의 확률질량함수가 $P(X=x)$일 때 기댓값은 \[E(X)=\sum_{}^{}xP(X=x)\] 확률변수 $X$의 함수 $g(X)$도 하나의 확률변수이고 그러므로 기댓값이 존재하는데 다음과 같은 식이 성립한다 $X$가 연속형이면 \[E(g(X))=\int_{}^{}g(x)f(x)dx\] $X$가 이산형이면 \[E(g(X))=\sum_{}^{}g(x)P(X=x)\] 이것을 무의식적인 통계학자의 법칙(Law Of The Unconscious Statistician, LOTUS)이라고 부른다. $X$의 기댓값을 구할 때 $X$의 확률함수를 이용해서 구했..
보통 범주형 변수만 사용가능한 것처럼 decision tree를 설명하지만 decision tree의 구분 feature로 연속형 변수도 사용가능합니다. 방법은 여러 가지가 있는데 하나를 예로 들어 설명하자면 예시 데이터가 위와 같다고 합시다. 구분하고자하는 feature 여기서는 예를 들어 income을 정렬합니다. 그러면 label이 바뀌는 지점이 생기는데 label이 바뀌는 지점의 평균점을 기준값으로 잡습니다. 각각 59.7, 64.9, 84.9 세 지점이 생기는데 각 지점에서 information gain이 최대가 되는 기준지점을 찾습니다. gini 계수를 이용해 계산하면 income이 59.7보다 클때와 작을때로 구분하는 것이 최대라고 합니다. lotsize도 똑같은 방식으로 기준값을 잡고 각 ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
