앙상블(ensemble) 기본 개념 제대로 이해하기

0. bias와 variance 1) overfitting model이 학습을 너무 해버리면 모델의 차원이나 복잡도가 증가 데이터의 세세한 부분까지 fitting하는 overfitting 현상 발생 모든 데이터는 noise가 존재하는데 overfitting하면 데이터의 noise까지 세세하게 fitting하게 되는 경향성을 가짐 다양한 데이터가 나올 가능성이 높다. 넓은 범위에서 데이터가 나올 가능성이 높아서 high variance라고도 부른다 2) underfitting 반면 학습을 너무 하지 않으면 너무 데이터를 고려하지 않게 된다 데이터를 많이 fitting하지 못한다 일부분에만 fitting되어 일부분에만 편향된다고 하여 high bias라고도 부른다 data set을 만드는 과정에서 일반화를 ..

• format_list_bulleted 딥러닝 기초
• · 2023. 5. 5.
• textsms

딥러닝 경량화 기법 pruning은 무엇이고 왜 등장했는가

0. weighted sum model   원소들에 어떤 가중치들을 곱하여 선형결합을 한 형태  원소들의 가중평균 decision theory에서 무언가를 결정하고자 할 때 중요한 요소는 가중치를 크게 부여하고  덜 중요한 요소는 가중치를 적게 부여한다는 것에서 의미를 가짐 neural network에서 학습에 중요한 parameter도 있고 중요하지 않은 parameter도 있는데  안중요한 parameter를 지우겠다는 pruning의 핵심 원리와도 일맥상통  cross entropy도 일종의 weighted sum이다.    1. motivation 태어날 때 50조개의 neuron이 있는데 1년 뒤에는 1000조개의 neuron이 있다고함 이제 어른이 되면서 자주 쓰는 neuron은 보존하면서 자..

• format_list_bulleted light weight modeling
• · 2022. 11. 9.
• textsms

Adaboost 모형

boosting 알고리즘 중에 여러개의 model을 만들어 voting시킨다는 것이 조금 이상하다는 생각이 들 수도 있을 것 같습니다. boosting에서 말한 알고리즘 중 두 번째 알고리즘이 Adaboost인데요. 조금 더 구체적이지만 아주 간단하게? 설명하자면 다음과 같습니다. 전체 train data에서 random하게 data를 뽑습니다. random하게 data를 뽑은 sample로 하나의 model A를 학습합니다. 참고로 Adaboost에서 사용한 model A는 random forest가 완전한 tree를 사용하던 것과는 조금 다르게 두 개의 leaf만 가지는(1번만 분기하는) stump라는 tree를 사용합니다. 학습한 A로 전체 train data에 대해 validation을 수행합니다..

• format_list_bulleted 정형데이터
• · 2021. 11. 1.
• textsms