1. XGBoost 모델 gradient boosting의 약점은 train data에 대해 한없이 loss인 residual을 줄여나가니까 overfitting되기 쉽다는 단점이 있습니다. 이런 단점을 인식하여 나온 방법이 XGBoost입니다. XGBoost는 실제 값과 예측 값의 차이를 일반적인 loss에 regularization term을 더하여 이것을 줄이는 방향으로 학습을 진행합니다. loss function도 단순한 MSE같은 차이뿐만 아니라 다양한 loss function을 사용하여 task에 따른 유연한 튜닝을 가능하게 하였다고 합니다. 2. parameter norm penalty parameter norm penalty 기법은 loss function에 norm penalty를 더하는..
기존 boosting이 model의 정확성을 점점 개선하는 방식으로 진행되었다면 gradient boosting은 그 이름에서도 알 수 있듯이 loss function을 정의하고 이것을 줄여나가는 방식으로 model을 학습해나갑니다. loss function은 딥러닝에서도 자주 사용하듯이 실제값과 예측값의 차이로 정의합니다. 예시 그림을 보면 이해하기 쉬울 것이라고 생각합니다. 위 그림에서 weight를 예측하는 model을 만든다고 합시다. 실제값과 예측값의 차이인 loss function을 최소로하는 최초 예측은 모든 weight의 평균값으로 예측하는 것이 제일 간단합니다. 여기서 평균은 71.2라고 합니다. 예측한 값과 실제 값들의 차이(이것을 residual 혹은 loss라고 부릅니다)를 각 ro..
boosting 알고리즘 중에 여러개의 model을 만들어 voting시킨다는 것이 조금 이상하다는 생각이 들 수도 있을 것 같습니다. boosting에서 말한 알고리즘 중 두 번째 알고리즘이 Adaboost인데요. 조금 더 구체적이지만 아주 간단하게? 설명하자면 다음과 같습니다. 전체 train data에서 random하게 data를 뽑습니다. random하게 data를 뽑은 sample로 하나의 model A를 학습합니다. 참고로 Adaboost에서 사용한 model A는 random forest가 완전한 tree를 사용하던 것과는 조금 다르게 두 개의 leaf만 가지는(1번만 분기하는) stump라는 tree를 사용합니다. 학습한 A로 전체 train data에 대해 validation을 수행합니다..
1. diagonal matrix diagonal matrix는 main diagonal이 아닌 원소들이 모두 0인 행렬을 말합니다. main diagonal은 $i$번째 행에 위치하면서 동시에 $i$번째 열에 위치하는 $a _{ii}$의 원소들을 말합니다. 일반적으로 square matrix를 가정하지만 아닐 수도 있습니다. 그림5에서 빨간 선분은 main diagonal을 나타냅니다. main diagonal이 n개인 diagonal matrix는 기호로 보통 $diag(a _{1} ,a _{2} ,...,a _{n} )$으로 나타냅니다. 중요한 성질을 몇가지 나열하자면 1-1) determinant는 main diagonal의 원소들의 곱으로 구해집니다. 1-2) main diagonal의 모든 원..
1. idempotent matrix $A ^{2} =A$를 만족시키는 행렬 $A$를 말합니다. $A ^{2}$이 정의되어야하므로 기본적으로 idempotent matrix일려면 행렬 곱의 정의로부터 square matrix여야 합니다. 중요한 성질을 몇가지 나열하자면 1-1) idempotent matrix인 $A$가 역행렬을 가진다면 반드시 identity matrix가 됩니다. $A ^{2} =A$에서 $A ^{-1}$를 곱하면 $A=I$가 됩니다. 이 말은 반대로 말하면 idempotent matrix인데 identity matrix가 아니면 역행렬이 존재하지 않는다는 뜻입니다. 1-2) idempotent matrix의 trace는 rank와 같습니다. 1-3) idempotent matrix는..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
