1. 석기시대 고인돌 가족 이야기 석기시대의 고인돌 가족에게 세상은 두려움 그 자체였다. 동굴에 사는 이 가족의 막내아들은 아침 해가 동굴 앞 작은 언덕 쪽에서 솟아오르는 모습을 발견한다. 내일도 언덕 쪽에서 해가 뜰까? 엄마는 해가 항상 동쪽에서 떠오른다고 말하지만 호기심 가득한 막내아들은 곧이곧대로 믿지 않는다. 막내아들은 이렇게 생각한다. 내일 해가 언덕 쪽에서 뜰지, 거꾸로 동굴 쪽에서 뜰지는 알 수 없다. 이튿날 막내아들은 해가 언덕 쪽에서 떠오르는 것을 보고 이렇게 생각한다. 어쩌면 해는 언덕 쪽에서만 떠오를지도 몰라. 다음 날도, 그 다음 날도, 해가 언덕 쪽에서 떠오르는 광경을 본 막내아들은 결국 엄마 말이 맞았다고 생각한다. 2. 베이즈의 정리를 이용한 기술 자연현상에 대한 막내아들의 무..
1. 경험만이 가능성을 판단할 수 있다 불확실성과 가능성을 표현하는 확률은 여러 철학자의 관심을 사로잡았다. 경험주의를 완성했다고 평가받는 18세기 철학자 데이비드 흄은 에서 확률에 대한 그의 사상을 펼치면서 어떤 가능성이 다른 가능성보다 더 크다고 믿을 수단은 곧 경험뿐이라고 주장했다 같은 맥락에서 흄은 '종교적 기적'에 대해 여지없이 의문을 드러냈다. 예수의 재림을 목격하는 '경험'이 가능할 수도 있지만 실제로 인간은 한번 죽으면 다시는 살아나지 못한다는 상식과 비교하면 해가 서쪽에서 뜨는 것만큼 불가능한 일이다. 기적의 가능성은 죽으면 끝이라는 상식적인 경험의 가능성에 비해 티끌보다 작으므로 있을 수 없는 일이다. 흄의 경험주의 철학은 당대는 물론 현대 과학자들에게 매우 큰 영향을 미쳤다. 2. 베..
1. occlusion map 1-1) motivation 이제부터는 모형이 특정 입력을 어떻게 바라보고 출력을 내는지 알아볼 것 saliency test라는 것은 각 이미지의 class를 판정하기 위해 모델이 중요하게 생각하는 부분들을 알아보는 과정 1-2) occlusion map 주어진 코끼리 이미지에서 occlusion patch라는 것으로 가려서 모델에 넣어줌 동일한 코끼리 이미지를 서로 다른 occlusion patch로 가렸을 때 각각이 코끼리라고 분류할 조건부 확률을 구해본다면 당연하지만 코끼리로 판단하는데 중요한 부분을 가릴수록 코끼리라고 할 확률이 떨어진다 occlusion patch로 어디를 가리느냐에 따라 score가 다르다. 중요한 부분을 가리면 score가 급격하게 떨어지고 큰 ..
1. language model 앞의 주어진 문맥을 활용해 다음에 나타날 단어를 예측하는 모델 사람의 언어를 이해하는 것은 쉬운 일은 아니지만 통계적 관점, 딥러닝적 관점에서 문맥이 주어질 때 다음 단어를 잘 예측했다면 언어의 패턴을 잘 학습한 것이다. 2. 확률적 관점 언어 모델은 문장에 대한 확률을 부여하는 task 조건부확률을 이용하여 생성확률을 부여 ’오늘은 햇살이 좋다’라는 문장에 대한 확률은 ‘오늘은’이 먼저 나올 확률에 ‘오늘은’이 주어질때 ‘햇살이’가 나타날 확률에 ‘오늘은 햇살이’ 주어질 때 ‘좋다’가 나타날 확률을 곱한 것 3. RNN을 활용한 예측 x는 input이고 y는 현재 시점의 예측값, h는 각 시점에서 모델이 기억하는 잠재적인 정보 U,V,W는 RNN의 parameter 이전..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
