벡터의 norm은 벡터 사이 거리로 정의된다. 그런데 벡터 사이 거리를 어떻게 정의할까? 일반적으로 유클리드 거리를 생각하지만 사실 거리를 정의하는 방법은 다양하다 임의의 n차원에서 거리를 정의한다는 것이 중요하다. 첫번째는 L1 norm, 두번째는 L2 norm이라고 부른다 1. L1 norm의 기하학적인 의미 L1 norm이란 원점에서 x까지의 거리를 위 그림에서 빨간 선분의 총 길이로 정의하는 것이다. 2. L2 norm의 기하학적 의미 L2 norm은 x까지의 거리를 위와 같이 직선거리로 정의하는 것이다. 3. norm에 따른 원 원은 원점에서 거리가 r인 점의 집합이라는 사실로부터 3-1) L1 norm을 사용한 원 robust 방법, lasso 회귀 등에서 사용 3-2) L2 norm을 사용한..
1) L1(절댓값 함수)과 L2(제곱 함수) regularization 항을 그래프로 그려보면 weight parameter중 하나가 0으로 가까이 가면 L2 regularization은 나머지 하나도 0으로 가까이 가는 듯 하지만 0은 아닌데 L1 regularization은 확실하게 0으로 가려고 한다 결론은 L1 regularization은 많은 weight를 0으로 만들어낼 수있는데 L2 regularization은 0에 가까운 weight들을 만들어낸다. 2) 이 사실을 다른 그림을 통해 직관적으로 살펴보면 2개의 paramete $W _{1},W _{2}$가 있다고 가정하고 2가지 regularization에 대하여 regularization 항이 최소한 $s$이내에 있어야한다고 하면 $$\l..
L1 regularization과 L2 regularization은 모형의 복잡도인 parameter에 penalty를 주는 방식이다. L1, L2라는 용어에서 알 수 있다시피 loss function 공부하면서 짐작할 수 있는데 L1 regularization은 L1 norm인 절댓값 합을 말하는 것 일 테고 Lasso라고도 부른다. L2 regularization은 제곱 합을 말하는 것이고 Ridge라고도 부른다. 기본적으로 regularization하면 생각나는 것은 $$cost = basic \; loss + regularization$$ regularization term을 구성하는 방법은 neural network의 parameter를 이용한다. 그 parameter가 $W$라고 한다면 $$\..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
