1. motivation 태어날 때 50조개의 neuron이 있는데 1년 뒤에는 1000조개의 neuron이 있다고함 이제 어른이 되면서 자주 쓰는 neuron은 보존하면서 자주 쓰지 않는 neuron은 없어지면서 500조개로 줄어든다고함 비슷한 원리로 막 설계한 machine learning model을 training하면서 complexity를 늘려가는데 자주쓰는 parameter는 살리고 자주 쓰지 않는 parameter는 제거 중요한 parameter는 살리고 중요하지 않은 parameter는 제거하는 기법 neural network뿐만 아니라 decision tree에서도 주로 사용해왔다 2. pruning을 왜 하는가? network의 parameter를 잘라내니까 복잡도가 감소함 복잡도가 감..
1. idea MobileNet v1의 핵심 아이디어는 depthwise separable convolution 일반적인 convolution 연산을 2단계로 분리하여 depthwise convolution을 수행하고 pointwise convolution을 수행 계산량이 일반적인 convolution에 비해 줄어드는데 정확도는 오히려 좋아지거나?? 아주 조금 손해를 보는 정도 2. 일반적인 convolution M channel 커널이 M channel input에 한번에 convolution을 수행함 원래 depthwise separable이 연산량이 높을수도 있다고 생각했는데 지금부터 항상 감소한다는 것을 증명할 것이다. kernel size를 $D_{k} \times D_{k}^{'}$, inpu..
1. 랭킹에 올라가느냐, 방어하느냐 창과 방패의 싸움 구글이나 네이버의 검색 결과에서 상위를 차지하면 엄청난 트래픽을 가져올 수 있습니다 특히 돈에 관련한 쿼리라면 더더욱 그렇죠 예를 들어 네이버에 '꽃배달'이라는 쿼리를 입력했을때, 1등으로 올라오는 사이트가 있다면, 엄청난 매출을 기대할 수 있겠죠? 그래서 '검색엔진 최적화, SEO, Search Engine Optimization'를 시도하는 업체들은 여러가지 실험을 해보면서 랭킹을 높이기 위해 끊임없이 도전합니다 구글에는 200여가지 랭킹 조건이 있는데 검색엔진 최적화는 이들 조건 사이에서 바늘구멍같은 빈틈을 찾아 랭킹을 올리기 위해 끊임없이 노력하는 거죠 이를 위해 다양한 수단을 동원합니다. 다양한 메타 태그를 부여해보기도 하고, 인기있는 키워드..
1. panoptic segmentation 기존 instance segmentation이 이미지의 배경에는 관심이 없어서 배경에 특별히 관심이 있는 경우에는 오히려 semantic segmentation이 유리했다 근데 문제는 배경에도 관심이 있으면서 서로 다른 물체를 구분하고 싶은 경우도 있을 수 있다. semantic segmentation은 같은 클래스의 서로 다른 물체를 구분하지 못한다. panoptic segmentation은 배경 정보도 구분하며 같은 클래스더라도 서로 다른 물체라면 구분하는 더욱 진화된 기술이다. 2. UPSNet 2-1) 기본구조 feature pyramid network로부터 고해상도 feature map을 뽑는다 semantic head와 instance head로 들..
1. YOLACT 1-1) motivation Mask R-CNN은 region proposal을 수행하고 segmentation을 수행하는 two stage 구조로 조금 느려 real time instance segmentation을 수행하기 위한 single stage 구조의 모델이 등장 1-2) 구조 feature pyramid network 구조를 사용하여 고해상도 feature map을 뽑는다 Mask R-CNN이 비효율적으로 실제 쓰지 않더라도 하나의 bounding box에 대해 모든 class의 마스크를 일단 만들었는데 Protonet을 사용하여 mask의 prototype(soft segmentation component)을 일단 만든다는 것이 핵심이다 효율적으로 생성하기 위해 proto..
1. 유사도 점수만으로 검색 결과를 내놓을까 지금까지 랭킹을 이해하기 위해 꽤 기나긴 과정을 거쳤습니다. 점수를 구하려 계산하다 보니 수학을 많이 사용했습니다. 좋은 랭킹 공식을 만들기 위해 좋은 알고리즘을 사용하는 것과 함께 수학 실력도 매우 중요합니다. 랭킹의 결과는 최종적으로 사용자에게 노출된다는 점에서 검색엔진 기술의 꽃이라고 할 수 있습니다. 그렇다면 검색엔진은 최종 순위를 어떻게 정할까요? 직전에 살펴본 유사도 점수가 순위를 결정하는 중요한 요인이긴 하지만 유사도 점수만 높다고 항상 1등이 되진 않습니다 철인 3종 경기에서 마라톤이 가장 중요하다 해도 결국은 수영, 사이클, 마라톤 세 종목의 모든 시간을 합산하여 1등을 정하는 것과 유사하죠 마찬가지로 지금까지 살펴본 최신, 품질, 유사도에 더..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
