1. motivation 다양한 타입, 형태, 특성을 가지는 데이터를 특별한 제한없이 모두 사용하여 모델을 학습시키는 방법 지금까지는 이미지 하나만을 사용해서 모델을 학습시켜왔지만 사실 사람들은 눈으로 보면서(이미지) 귀로 동시에 듣기(소리)도 하며 맛을 보기 전에도 코로 냄새를 맡는 등 자연스럽게 multimodal을 사용하는 것이 기본이다. 그 외에도 사람들은 social perception, 3D world의 depth perception등 느끼지는 못하지만 실제로는 사용하고 있는 다양한 감각들을 모두 사용하여 학습을 한다. 2. 어려운 점 다양한 형태의 데이터를 사용하여 학습을 하고자하는데 여러 타입의 데이터를 표현하는 방법이 모두 다르다는 것이 문제다. 오디오는 1d signal wa..
1. motivation Pix2Pix에서는 pairwise data로 x에 대한 ground truth인 y가 필요한 supervised learning 문제는 항상 이런 pairwise data를 얻는 것이 쉽지가 않다. 사실상 불가능한 경우도 많다 그래서 서로 무관한 X라는 style의 image dataset과 Y라는 style의 image dataset을 활용하는 방법은 없을까? 직접적인 대응관계가 없는 X,Y 사이에서 image translation이 가능하도록 만든 것이 CycleGAN이다. pairwise data가 필요하다는 제약사항을 뛰어넘으면서 응용범위가 늘어났다 2. CycleGAN loss X에서 Y를 생성하는 GAN loss와 Y에서 X를 생성하는 GAN loss와 Cycle c..
1. image translation 하나의 이미지 스타일을 다른 이미지 스타일로 변화시키는 문제 흑백사진을 컬러사진으로 바꾸고 낮 사진을 밤사진으로 바꾸거나 스케치 사진을 실제 이미지 사진으로 바꾸는 단순한 문제부터 semantic segmentation 이미지를 일반 이미지로 바꾸거나 일반 인공위성 사진으로부터 지도를 출력하는 문제 등 다양하다 앞에서 다룬 super resolution도 하나의 예시 2. GAN loss의 치명적인 문제점 - mode collapse 앞에서 MAE loss는 평균적인 blurry한 이미지를 출력해준다며 안좋다고 했고 GAN loss가 실제 이미지에 가까운 사진을 출력해준다며 극찬을 했는데 실제로 GAN이 대단하다는 이미지 때문에 생각하기 어려운데 GAN은 사실 치명적..
1. motivation 한 image를 다른 image로 바꾸는 것이라고 생각하면 된다 저해상도 image를 고해상도 image로 바꾸는 super resolution 흑백사진을 컬러사진으로 바꾸는 colorization image의 style을 바꾸는 style transfer 다음은 input image를 Van Gogh, Monet 스타일 등으로 바꾼 예시 다음은 전혀 다른 느낌의 게임 테마를 만드는 예시 디자이너, 게임감독 비용을 감소시키며 디자이너들에게 영감을 주는 용도로도 활용될 수 있다 2. super resolution 저해상도 이미지를 고해상도 이미지로 출력하는 문제 conditional GAN의 대표적인 예시 GAN을 이야기해서 GAN으로만 풀 수 있는 거 아니냐고 물을 수 있겠지만 ..
1. CornerNet 1-1) 구조 bounding box가 top-left corner 좌표와 bottom right corner 좌표만 있으면 충분하다는 점을 이용 backbone network에서 feature map을 뽑아 top left point만을 예측하는 heatmap과 bottom right point를 예측하는 heatmap을 생성함 그 heatmap을 embedding하여 각 point가 어떤 정보를 가지는지 확률분포를 계산 top left embedding과 bottom right embedding이 같은 bounding box에서 나온 것(같은 object에서 나온 것)이라면 비슷한 분포로 나올 것 당연하지만 object가 여러개 있을 수 있으니(그림에서는 2개) point도 여..
1. DensePose 1-1) UV map 3차원 모델을 2차원 U-V좌표계에 표현하는 방법 모델 상 점과 UV 좌표계의 점이 1:1 대응된다 3D 모델이 움직이더라도 모델의 각 부분들이 고유 id가 있어서 map에 그대로 matching된다고 한다 다시 말하면 UV map과 3D 모델은 움직이더라도 한번 UV map상 위치를 알면 3D 모델의 위치를 추적할 수 있는 불변의 관계에 있다. UV map을 color 코딩해서 대응하는 부분에 맞춰서 입히면 3d모델이 된다는 것 같음 각 좌표축에 색이 있는데 위치에 맞는 그 색을 가져오나봄 1-2) DensePose R-CNN UV map이 3d model의 좌표와 1:1대응한다는 점을 응용 UV map의 좌표를 출력하면 3d model의 좌표를 출력하는 것..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
