1. problem space 어떤 문제가 정의되는 공간 문제에서 이 공간 밖에서는 어떠한 것도 생각하지 않겠다 1-1) example 어떤 game의 finite state space 현재 상태에서 어떤 변화가 주어지면 다음 상태로 이동하는 space 동그라미 2개 있는 곳이 final state game의 player는 아래와 같이 정의된 problem space내의 상태 변화만 가능하다 input으로 플레이어?가 주어지면 patrol을 하면서 순찰을 함 player approach로 어떤 player가 접근하면? attack 상태로 변화 attack 상태에서 player가 도망가면? 다시 patrol 상태로 변화 patrol중에 체력이 없어 no health면? deceased로 사망 상태로 변화 ..
1. panoptic segmentation 기존 instance segmentation이 이미지의 배경에는 관심이 없어서 배경에 특별히 관심이 있는 경우에는 오히려 semantic segmentation이 유리했다 근데 문제는 배경에도 관심이 있으면서 서로 다른 물체를 구분하고 싶은 경우도 있을 수 있다. semantic segmentation은 같은 클래스의 서로 다른 물체를 구분하지 못한다. panoptic segmentation은 배경 정보도 구분하며 같은 클래스더라도 서로 다른 물체라면 구분하는 더욱 진화된 기술이다. 2. UPSNet 2-1) 기본구조 feature pyramid network로부터 고해상도 feature map을 뽑는다 semantic head와 instance head로 들..
1. YOLACT 1-1) motivation Mask R-CNN은 region proposal을 수행하고 segmentation을 수행하는 two stage 구조로 조금 느려 real time instance segmentation을 수행하기 위한 single stage 구조의 모델이 등장 1-2) 구조 feature pyramid network 구조를 사용하여 고해상도 feature map을 뽑는다 Mask R-CNN이 비효율적으로 실제 쓰지 않더라도 하나의 bounding box에 대해 모든 class의 마스크를 일단 만들었는데 Protonet을 사용하여 mask의 prototype(soft segmentation component)을 일단 만든다는 것이 핵심이다 효율적으로 생성하기 위해 proto..
1. trend GPT,BERT,ELECTRA 등의 괴물 모델은 size를 키우면서 압도적인 성능을 냈지만 pre-training 시키는데만 많은 계산량, GPU resource 등이 너무 많이 필요하다. 그래서 일반인들이 다양한 연구나 현업에서 사용하기에는 쉽지 않다. 기존의 큰 모델의 성능을 거의 유지하면서도 계산속도나 메모리 사용량에서 개선시키는데 초점을 두어 경량화 연구가 진행되고 있다. 심지어 소형 device 휴대폰에도 모델을 돌릴 수있게 만든다고???? 2. knowledge distillation https://arxiv.org/pdf/1503.02531.pdf https://light-tree.tistory.com/196 딥러닝 용어 정리, Knowledge distillation 설명과..
1. introduction A Lite BERT, 가벼워진 BERT 그동안 NLP 모델들은 대규모의 parameter를 가지는 괴물 모델로 발전해왔다. 그것이 정말로 좋은가? 많은 경우에 메모리 사용량은 한정되어있고 대규모 모델은 학습속도가 매우 느리며 시간도 엄청 필요하다. 특별한 방법으로 성능의 큰 하락없이, 오히려 더 좋아지면서 model의 size를 줄이고 학습시간을 빠르게하는 방법을 제시했다. 2. Factorized embedding parameterization self-attention block은 residual connection을 수행하는데 input과 output을 더해야한다는 점이 특징이다. 이것은 input과 output의 size가 동일해야 가능하다. 이 output hidd..
1. GPT-3 1-1) introduction 특별한 구조 변경없이 GPT-2에 비해 비교할 수 없을 정도로 self-attention block을 늘려 parameter수를 압도적으로 늘렸다. 더욱 많은 데이터와 더욱 큰 batch size를 사용함 GPT-2와는 model size 격차가 엄청나다. 1-2) few shot learner GPT-3가 놀라운 점은 GPT-2가 보여주었던 zero shot learning의 가능성을 높은 수준으로 끌어올렸다는 점이다. pre-train한 GPT-3에게 여러가지 setting에서 번역 task를 수행시켰다. 여기서 translation 데이터는 전혀 학습하지 않았다. 먼저 task description으로 ‘Translate English to Frenc..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
