1. GPT-3 1-1) introduction 특별한 구조 변경없이 GPT-2에 비해 비교할 수 없을 정도로 self-attention block을 늘려 parameter수를 압도적으로 늘렸다. 더욱 많은 데이터와 더욱 큰 batch size를 사용함 GPT-2와는 model size 격차가 엄청나다. 1-2) few shot learner GPT-3가 놀라운 점은 GPT-2가 보여주었던 zero shot learning의 가능성을 높은 수준으로 끌어올렸다는 점이다. pre-train한 GPT-3에게 여러가지 setting에서 번역 task를 수행시켰다. 여기서 translation 데이터는 전혀 학습하지 않았다. 먼저 task description으로 ‘Translate English to Frenc..
1. Generative model 의미 자체로만 생각해보면 그럴듯한 이미지나 문장을 만드는 모형? 하지만 단순히 무언가를 만드는 것만 generative model은 아니다. 개 사진을 학습한 확률모형에서 새로운 개 사진을 sampling 하는 generation 이러한 모형을 implicit model이라 한다. 새로운 사진을 주었을 때 개랑 비슷할수록 높은 확률을 뽑아내는 density estimation, 이러한 모형을 explicit model이라 한다. density estimation은 이상점 탐지(anomaly detection)에 사용할 수 있다. 입력 이미지들에서 공통 부분(개의 경우 귀나 꼬리)을 배우는 feature learning 2. GAN(Generative Adversaria..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
