1. GAN의 특징 인공지능에서 데이터 생성이라는 새로운 분야를 선보이며 등장 GAN의 목적은 갖고 있는 데이터를 모방해서 새로운 데이터를 만드는 것이며, 두 개의 네트워크가 서로 목표를 달성하기 위해 적대적으로 겨루는 구조 2. GAN의 구조 GAN을 처음 제안한 이안 굿펠로우는 GAN을 경찰과 위조지폐범의 관계로 설명하였다. GAN은 위 그림처럼 생성모델 Generator와 분류모델 Discriminator가 겨루는 네트워크로 generator는 위조지폐범, discriminator는 경찰에 비유된다. 위조지폐범의 목적은 경찰을 속이기 위해 최대한 진짜 지폐와 유사한 가짜 지폐를 생성하는 것이고 경찰은 위조지폐범이 만든 가짜 지폐와 진짜 지폐를 잘 분류하는 것을 목적으로 한다. 만약 위조지폐범의 수법..
1. GPT-3 1-1) introduction 특별한 구조 변경없이 GPT-2에 비해 비교할 수 없을 정도로 self-attention block을 늘려 parameter수를 압도적으로 늘렸다. 더욱 많은 데이터와 더욱 큰 batch size를 사용함 GPT-2와는 model size 격차가 엄청나다. 1-2) few shot learner GPT-3가 놀라운 점은 GPT-2가 보여주었던 zero shot learning의 가능성을 높은 수준으로 끌어올렸다는 점이다. pre-train한 GPT-3에게 여러가지 setting에서 번역 task를 수행시켰다. 여기서 translation 데이터는 전혀 학습하지 않았다. 먼저 task description으로 ‘Translate English to Frenc..
1. Generative model 의미 자체로만 생각해보면 그럴듯한 이미지나 문장을 만드는 모형? 하지만 단순히 무언가를 만드는 것만 generative model은 아니다. 개 사진을 학습한 확률모형에서 새로운 개 사진을 sampling 하는 generation 이러한 모형을 implicit model이라 한다. 새로운 사진을 주었을 때 개랑 비슷할수록 높은 확률을 뽑아내는 density estimation, 이러한 모형을 explicit model이라 한다. density estimation은 이상점 탐지(anomaly detection)에 사용할 수 있다. 입력 이미지들에서 공통 부분(개의 경우 귀나 꼬리)을 배우는 feature learning 2. GAN(Generative Adversaria..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
