GAN의 원리에 착안한 ELECTRA와 학습하지 않아도 응용을 잘하는 GPT-3

1. GPT-3 1-1) introduction 특별한 구조 변경없이 GPT-2에 비해 비교할 수 없을 정도로 self-attention block을 늘려 parameter수를 압도적으로 늘렸다. 더욱 많은 데이터와 더욱 큰 batch size를 사용함 GPT-2와는 model size 격차가 엄청나다. 1-2) few shot learner GPT-3가 놀라운 점은 GPT-2가 보여주었던 zero shot learning의 가능성을 높은 수준으로 끌어올렸다는 점이다. pre-train한 GPT-3에게 여러가지 setting에서 번역 task를 수행시켰다. 여기서 translation 데이터는 전혀 학습하지 않았다. 먼저 task description으로 ‘Translate English to Frenc..

• format_list_bulleted 딥러닝/NLP
• · 2022. 10. 26.
• textsms

GAN(Generative Adversarial Network)의 핵심 아이디어 미리보기

1. Generative model 의미 자체로만 생각해보면 그럴듯한 이미지나 문장을 만드는 모형? 하지만 단순히 무언가를 만드는 것만 generative model은 아니다. 개 사진을 학습한 확률모형에서 새로운 개 사진을 sampling 하는 generation 이러한 모형을 implicit model이라 한다. 새로운 사진을 주었을 때 개랑 비슷할수록 높은 확률을 뽑아내는 density estimation, 이러한 모형을 explicit model이라 한다. density estimation은 이상점 탐지(anomaly detection)에 사용할 수 있다. 입력 이미지들에서 공통 부분(개의 경우 귀나 꼬리)을 배우는 feature learning 2. GAN(Generative Adversaria..

• format_list_bulleted 딥러닝/Computer Vision
• · 2022. 3. 13.
• textsms