1. elastic net 알고리즘 L1 regularization과 L2 regularization을 모두 사용한 regularization loss에 L1 term과 L2 term의 선형결합을 더해서 모델을 학습시키는 알고리즘 2. L1 , L2, elastic net 비교 L1, L2는 모두 계수 $\lambda$가 크면 클수록 parameter를 축소시킨다. L2는 parameter를 0으로 근사시키나 L1은 parameter를 완전하게 0으로 축소시키는 경향이 있다. L1은 무수히 많은 변수들이 있는데 영향력이 강력한 변수들은 별로 없다고 생각이 들면 대부분의 변수를 0으로 축소시켜 일부 변수만 선택하고자할때 유리함 그러나 L1은 covariate가 sample에 비해 충분히 많을 때 상관관..
1. history 사람이 프로그래밍을 통해 모델을 설계하여 일을 자동으로 해주는 도구를 만들었지만 초기에는 hyperparameter밖에 없어서 사람이 모든 모수를 직접 정해야했다 머신러닝 시대로 오면서 데이터의 어떤 feature를 주로 쓸 지 모델 설계를 사람이 여전히 해야했지만 일부 parameter를 모델이 자동으로 찾아주었다. 물론 여전히 많은 hyperparameter가 존재했다. 딥러닝 시대로 오면서 사람이 input, output을 던져주면 모델이 알아서 feature를 잡아 모델을 설계했고 대부분의 parameter도 알아서 찾아준다. 극히 일부의 hyperparameter는 여전히 존재했다. 추후에는 진짜 모델 설계부터 parameter search까지 기계가 알아서 해주는 시대가 ..
1. 왜 확률적 전파 모형이 필요한가? 코로나19가 전파되는 과정을 모형화하고 싶은데 의사결정 기반의 선형 임계치 모형은 적절한 모형일까? 그렇지 않다. 누구도 코로나19에 걸리려고 의사결정을 한것이 아니다. 확률적으로 코로나19에 감염되기 때문에 확률에 기반한 전파 모형이 적절하다. 2. 독립적 전파 모형(independent cascade model) 방향성이 있고 가중치가 있는 weighted directed graph를 생각하자. u에서 v로의 weighted link (u,v)의 가중치는 P(u,v)로 u가 감염되었을 때 v를 감염시킬 확률이다. 당연하지만 시작점인 u가 감염되지 않았을 때는 의미 없다. node u가 감염될때마다 v를 감염시킬 확률 P(u,v)에 의해 다음 v를 감염시킨다...
1. 그래프를 통한 전파 1) 정보의 전파 SNS에 의한 정보 전파 스페인의 15M 운동은 트위터를 통해 전국적으로 알려졌다 2) 행동의 전파 SNS에 의한 행동 전파 틀리면 펭귄 사진으로 프로필 사진을 바꿈 아이스 버킷 챌린지 3) 고장의 전파 small world effect의 예시라고 볼 수도 있다. 컴퓨터 네트워크 같은 경우 일부분만 고장나도 다른 부분에서 과부하가 걸려 금방 전체가 고장난다 4) 질병의 전파 사회에서 극히 일부만 질병에 걸려도 전체로 퍼지는 경우가 많다. 네트워크에서 전파과정은 다양하면서 복잡하다. 이것을 체계적으로 이해하고 분석하기 위해 그래프를 이용한 수학적으로 모형화할 필요가 있다. 2. 선형 임계치 모형(linear threshold mode..
1. decision making 1) deductive 모든 사람은 죽는다. 소크라테스는 사람이다. 따라서 소크라테스는 죽는다 이미 정의된 혹은 증명된 사실들을 바탕으로 원하는 가설들을 증명하는 과정 참고로 7C2는 7개 중에서 2개를 선택하는 경우의 수인데 이 모든 경우의 수들이 노란색 동그라미들에 전부 대응시킬수 있어서 1+2+3+4+5+6=7C2가 성립 전제에 따라 바뀌는 결과 10진수에서는 1+1=2이지만, 2진수에서는 1+1=0 12진수에서는 1+15=4, 13진수에서는 1+5=-7(6이라 해도 되긴 하는데 1+5 = 6보다는 -7로 해서 다르게 할려고 쓴것 같음) 전제가 참이면 결론이 참이다 2) inductive 해가 동쪽에서 떠서 서쪽에서 뜨는 것은 수만년 전부터 많이 관찰..
1. 2d image 2d image는 image의 각 pixel value가 2d array에 저장됨 RGB 이미지인 경우는 3 channel의 array가 존재하여 각 채널에 R,G,B의 pixel value가 저장 이미지의 부분에 대응하는 pixel값이 저장 컬러 이미지면 3 channel로 구성 2. 3d representation 3d 표현은 2d image와는 다르게 유일하지 않다 1) multi-view image 3d 물체를 여러 각도에서 사진 찍어서 각각을 전부 보관함 2) volumetric(voxel) 2d 이미지 표현법과 가장 비슷한 방법? 3d space의 물체를 적절하게 grid로 나눠서 해당 grid에 3d 물체가 차지하면 1 아니면 0의 binary로 표현? ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
