현재 딥러닝이 분류문제의 기본 상식으로 알려져있지만 이전에 고전적인 머신러닝에서는 decision tree를 이용하여 분류문제를 해결했습니다. decision tree는 주어진 dataset을 class별로 구별해나가는 하나의 tree를 생성하는 모형인데요. 어떤 식으로 구별해나가는지 그 원리를 예를 들어 설명하겠습니다. 주어진 dataset은 여러개의 feature를 가지고 있겠죠? 예를 들면 다음과 같은 dataset을 생각해봅시다. 현재 D1~D14까지 data를 outlook, temperature, humidity, wind라는 feature를 이용하여 target 변수인 play tennis의 yes or no 여부를 구분해야합니다. 현재 구분하기 전에 yes는 9개 있고 no는 5개 있습니다..
1. quantile transformation의 이론적인 설명 주어진 데이터 $x _{1},x _{2} ,...,x _{n}$의 분포를 그려보니 다루기 힘들거나 마음에 안들어서 분포를 변환할 필요가 있다고 합시다. 주어진 데이터 $x _{1},x _{2} ,...,x _{n}$의 분포를 나타내는 누적확률분포함수 $F(x)$를 먼저 구해봅시다. 그런데 관측된 값으로는 이것을 구할 수 없으니 경험적 분포함수로 누적확률분포함수를 추정합니다. 주어진 데이터 $x _{i}$에 대하여 $F(X) \approx F(x _{i} )$로 추정했다고 합시다. 분포함수에 관한 theorem 1에서 "$X$의 누적확률분포함수가 $F(x)$라면 확률변수 $Y=F(X)$는 $U(0,1)$을 따른다”라고 했습니다. 이것이 무슨 ..
우리가 가지고 있는 데이터 $x _{1},x _{2},...,x _{n}$는 어떠한 이상적인 확률분포를 따르는 확률변수 $X$의 관측값으로 생각할 수 있습니다. 그러나 이 확률변수 $X$의 100% 정확한 확률분포를 절대로 구할 수 없으며 그러한 확률분포를 추정하는 방법밖에 없습니다. 확률변수의 확률분포와 누적확률분포함수가 일대일대응한다는 것을 말씀드렸습니다. 만약 데이터 $x _{1},x _{2},...,x _{n}$를 가지고 확률변수 $X$의 누적확률분포함수를 추정할 수 있다면 데이터 $x _{1},x _{2},...,x _{n}$의 확률분포를 어느정도 알 수 있을 것입니다. 확률변수 $X$의 누적확률분포함수를 추정하는 가장 쉬운 방법으로 경험적 분포 함수인 empirical distribution ..
확률변수 X의 누적확률분포함수(cumulative distribution function)라는 것은 모든 실수 x에 대하여 $$F(x)=P(X \leq x)$$으로 정의되는 함수를 말합니다. 누적확률분포함수는 모든 확률변수에 대해 정의할 수 있으며 $$F(x)=P(X \leq x)$$로 하나의 확률이니까 어떠한 실수 x를 넣더라도 0과 1사이의 값을 가집니다. 그리고 그 이름에서도 알 수 있듯이 확률을 누적해서 더한다는 의미를 가져서 증가함수(increasing function)입니다. 일반적으로 알고 있는 normal distribution이나 uniform distribution이나 binomial distribution 같은 여러 분포들은 유일한 누적확률분포함수를 갖습니다. 무슨 말이냐면 누적확률분..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
