1. 기댓값 1043억 1607만 8000원! 2022년 9월 대한민국 1031회 로또복권 총 판매금액이다. 서민들의 살림살이가 어려워질수록 복권 판매금액은 늘어난다고 한다. 저마다의 사연으로, 저마다의 인생 역전을 꿈꾸며 소위 '명당'이라고 불리는 복권 판매점 앞에는 이른 아침부터 손님이 몰리기도 한다. 모두 30억원짜리 1등에 당첨되면 좋겠지만 십중팔구 낙첨이다. NBA 농구선수 샤킬 오닐은 자유투 실력이 별로인 것으로 유명하다. 2번 쏘면 1번 들어가는 정도였다. 복권 당첨이나 샤킬 오닐이 자유투에 모두 성공하는 것은 결과를 미리 알 수 없는 불확실한 사건이다. 사람들은 복권이 당첨되기를 바라고, 샤킬 오닐은 자유투가 2번 모두 림 안에 들어가기를 바라며 슛을 쏜다. 다만 관중의 기대는 냉철해 2번..
1. 문제 28139번: 평균 구하기 (acmicpc.net) 28139번: 평균 구하기 $2$차원 좌표평면 위에 $N$명의 사람이 있다. 위치가 ($x_1, y_1$)인 사람과 위치가 ($x_2, y_2$)인 사람 간의 거리는 $\sqrt{\left(x_1 - x_2 \right)^2 + \left(y_1 - y_2 \right)^ 2}$이다. 위대한 마법사 레이는 이 중 한 www.acmicpc.net 2. 풀이 최악의 경우 5000!가지를 모두 거리를 계산해봐서 평균을 구해야하는데, 당연히 2.5초안에 가능할리는 없고 5000!가지를 안구해봐도 구하는 방법이 있겠지 확률변수 $X$를 $N!$가지 각각 경우의 수에서 나올 수 있는 이동거리라고 정의하자. 문제에도 나와있듯이 "총이동거리는 해당 순서에서..
1. 확률분포 $x \times y$라는 데이터 공간에서 D는 데이터를 만들어내는 하나의 확률분포이다. 이로부터 얻어낸 데이터는 하나의 확률변수로 $(x,y) \sim D$이다. 확률분포에 따라 데이터의 이산형, 연속형이 결정된다. 데이터 상태가 실수이냐 정수이냐랑은 크게 무관하다. 확률분포는 이론적으로 존재하며 단순히 데이터만 보고는 무슨 확률분포를 따르는지는 알 수 없다. -------------------------------------- 확률질량함수는 이산형확률변수의 확률함수로 그 값 자체가 확률이다. 확률변수가 공간 A에서 가질 수 있는 모든 경우의 수를 고려한 확률의 합으로 구해진다. ------------------------------------- 확률밀도함수는 연속형확률변수의 확률함수지만..
참값 $S$의 추정량 $\hat{S}$이 아주 좋은 성질로 $E(\hat{S})=S$을 만족한다면 불편추정량(unbiased estimator)이라고 한다. 참값과 추정값 사이에는 분명한 차이가 있는데 이것을 오차(error)라고 한다. $$e={\hat{S}}-S$$ 많은 경우에 참값은 알 수 없는 값이니까 $e={\hat{S}}-S$를 구하는 것은 불가능하다. 사실 $\hat{S}$이 표본추출에 의해 랜덤하니까 $e={\hat{S}}-S$도 랜덤한 확률변수이므로 어느 정도 나오리라는 기댓값 정도는 구할 수 있다 오차 제곱의 기댓값 $E((\hat{(S} -S) ^{2} )$을 Mean square for error, 그 유명한 MSE이다. 이것을 최소로 하는 추정량 $\hat{S}$을 선택하는 것이 ..
우리는 $softmax(QK^{T})V$로 attention을 구했지만 논문에서는 scaled dot product attention을 제안했다. key,query matrix의 차원 $d_{k}$의 제곱근으로 $QK^{T}$를 나눠줬다. 왜 그랬는지 생각해보자. query와 key의 내적은 언제나 하나의 scalar지만 query,key의 차원 $d_{k}$가 충분히 크다면 내적이 당연히 커진다는 점에 주목했다. 그러면 softmax function이 gradient를 극도로 낮게 만드는 영역이 존재한다는 것이다. We suspect that for large values of $d_{k}$, the dot products grow large in magnitude, pushing the softmax..
연속형확률변수 $X$의 확률밀도함수가 $f(x)$일 때 연속형 확률변수 $X$의 기댓값은 \[E(X)=\int_{}^{}xf(x)dx\] 이산형 확률변수 $X$의 확률질량함수가 $P(X=x)$일 때 기댓값은 \[E(X)=\sum_{}^{}xP(X=x)\] 확률변수 $X$의 함수 $g(X)$도 하나의 확률변수이고 그러므로 기댓값이 존재하는데 다음과 같은 식이 성립한다 $X$가 연속형이면 \[E(g(X))=\int_{}^{}g(x)f(x)dx\] $X$가 이산형이면 \[E(g(X))=\sum_{}^{}g(x)P(X=x)\] 이것을 무의식적인 통계학자의 법칙(Law Of The Unconscious Statistician, LOTUS)이라고 부른다. $X$의 기댓값을 구할 때 $X$의 확률함수를 이용해서 구했..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
