1. CNN 등장 CNN(Convolutional neural network)은 이미지나 영상을 다루는 컴퓨터 비전에서 가장 대표적으로 사용되는 인공신경망 1980년대 얀 르쿤(Yann LeCun)이 우편번호와 수표의 숫자 필기체를 인식하는 LeNet이라는 모델을 개발하면서 처음 소개 알고리즘이 성공적으로 동작했으나, 10개의 숫자도 학습하는데 3일이나 걸렸음 30년이 지난 후, 과적합과 학습 시간 문제를 해결하면서 지금은 이미지 분류는 기본이고 얼굴 인식, 자율주행같은 어려운 과제인 객체 인식에서도 효과적으로 CNN이 사용 2. 정형데이터와 이미지데이터의 차이? 정형데이터는 데이터베이스 시스템의 테이블과 같이 고정된 칼럼(column)과 개체(observation)의 관계로 구성 이미지는 사람의 눈으로..
1. 클러스터링, 도로 사진을 판별한 최초의 기법 스탠리가 우승한 2005년만 해도 카메라로 측정한 도로 사진을 제대로 판별할 수 있는 기술은 턱없이 부족했습니다. 그래서 당시 스탠리가 택한 방법은 머신러닝 기법 중 하나인 클러스터링이었습니다. 클러스터링이란, 비슷한 개체끼리 하나의 군집으로 묶는 기법을 말하는데, 당시 스탠리는 도로 사진을 하나의 군집으로 처리하고 비슷한 색상의 사진을 같은 도로로 판별하는 기법을 사용했습니다. 즉 주행 중인 바닥면의 사진을 카메라로 촬영하고 이 색상과 비슷한 색상이라면 이곳을 도로로 간주하는 것이죠. 만약 사막을 달리는 중이라면, 회색과 갈색이 섞인 색상의 묶음을 도로로 보는 겁니다. 이렇게 스탠리는 지속적으로 사진을 촬영하면서 색상을 비교했습니다. 여전히 회색과 갈색..
1. 마크다운(markdown)? README.md 오픈소스의 공식 문서 깃허브 프로젝트의 시작과 끝 학습한 내용을 정리하거나, 개발문서, 블로그 등 다양한 부분에서 사용가능 주피터노트북, 노션, 타이포라 등 웹에디터 대부분에서 지원함 타이포라(typora) >> 마크다운 문법으로 작성하면 실시간 마크다운 결과를 제공하고 이미지, 표 삽입등이 매우 쉽다 하지만 유료.. 무료버전 쓰면 갑자기 유료로 쓰라면서 에러남 vscode에서 마크다운 편집기 무료로 사용 가능 확장에서 markdown all in one 다운 받고 오른쪽 상단에 미리보기도 제공함 2. 마크다운 문법 2-1) # 제목이나 소제목 등에 주로 사용함 # (제목).. # 뒤에 띄어쓰기를 해야 적용 #의 개수는 1개부터 6개까지 가능하며 많이 ..
1. motivation 사실 아무리 upsampling을 적용해서 크기를 키웠다고 잃어버린 정보를 되살리는 것은 쉬운 일은 아니다 convolution의 각 layer의 의미를 살펴본다면 하위 layer에서는 feature map 크기가 커지지만 상대적으로 receptive field가 작고 작은 차이에도 민감하게 반응함 상위 layer로 갈수록 feature map 크기가 감소하지만 receptive field가 커져서 전체적이고 pixel이 가지는 의미론적인 정보를 파악함 낮은 layer에서는 작은 영역을 보면서 상위 layer에서는 넓게 바라본다(receptive field를 그린건가?) 그런데 semantic segmentation에서는 무엇이 필요한가? 둘 다 필요하다 이미지의 전체적인 면을 ..
1. semantic segmentation 이미지의 각 pixel이 어떤 class에 속할지 분류하는 문제 예를 들어 자율주행자동차의 경우 위 그림과 같이 자동차가 보는 이미지에서 어떤 부분이 자동차인지 차도인지 신호등인지 사람인지 인도인지 구별해야 운행이 가능할거다 2. Fully convolutional network 일반적인 CNN 구조는 convolution layer를 여러 층 쌓고 마지막에 flat 시킨 뒤에 fully connected layer를 구성한다 fully convolutional network는 마지막 dense layer를 없애고자 하는 모형이다 이것을 convolutionalization이라고 한다 flat은 reshape 과정이므로 Parameter 수는 변하지 않는다 3..
1. deep neural network는 학습하기가 어렵다 overfitting이란 train error가 줄어드는데도 test error는 증가하는, 방향이 반대되는 현상으로 parameter 수가 늘어나면 일반적으로 발생한다. 일반적으로 deep한 neural network는 shallow한 network에 비해 학습하기가 어렵다. train error가 줄어들면서 test error도 어느정도 줄어드니까 위와 같은 경우는 overfitting은 아니다. 물론 test error가 너무 커지는게 문제다. 아무리 학습을 잘 시킨다고해도 결국엔 20-layer가 56-layer보다 나았음 왜 학습하기가 어려웠나? 깊을수록 gradient vanishing 문제가 발생했기 때문이다 ResNet은 skip..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
