Computer vision이란?

1. Computer vision이란? 사진이나 비디오 등 영상정보로부터 장면의 본질인 3D 모델을 구하는 기술을 Graphics라고 한다. 반대로 3D 모델, 어떤 물체의 본질을 가지고 있을 때 이것을 영상이나 비디오로 만드는 기술을 Computer vision이라고 한다. computer vision을 inverse graphics라고도 부른다 가장 먼저 딥러닝 기술에 의해 paradigm shift가 일어난 분야가 computer vision 2. AI란 무엇인가? 사람의 지능을 컴퓨터 시스템으로 구현한 것 지능의 범위가 도대체 무엇? ‘사고하고 인과관계를 분석하는 것 외에도 시각이나 소리에 관한 지각능력, 이해에 관련된 내용도 포함한다 옥스포드에서 정의한 AI는 인간 지능의 범위를 시각 인지능력부..

• format_list_bulleted Computer Vision
• · 2022. 1. 17.
• textsms

확률적 경사하강법(stochastic gradient descent method)

1. 확률적 경사하강법(stochastic gradient descent method, SGD) 모든 데이터를 사용하는 것이 아닌 매 스텝마다 데이터 1개를 sampling하여 각 스텝마다 gradient를 계산한 경사하강법 목적식이 볼록(convex)이 아니면 확률적 경사하강법을 이용하여 최적화 할 수 있다. 또한 데이터 세트가 매우 클때 일반적인 경사하강법은 속도가 너무 느려져서 매 스텝마다 일부 데이터만 사용하는 확률적 경사하강법을 이용하여 속도를 높일 수 있다. 연산량에 있어서 효율적임 만능은 아니지만 딥러닝에서는 일반적인 경사하강법보다 낫다고한다 그림1을 보면 데이터의 일부를 사용하여 추정한 그래디언트 벡터의 기댓값이 실제 그래디언트 벡터에 근사한다 데이터를 확률적으로 선택하기 때문에 안정적으로..

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 4.
• textsms

cross validation이란?

k-fold validation이라고도 한다. 보통 모형의 성능을 높이기 위해서 주어진 전체 data를 train data + validation data와 test data로 나눈다. train data는 학습을 위해 사용되는 부분이고 validation data는 학습한 모형의 성능을 평가하면서 hyperparameter를 튜닝하기 위해 사용한다. test data는 오직 최종 모형의 성능을 평가하기 위해서만 사용한다. 그런데 이들을 어떻게 나눠야 할까? train data를 k개의 fold로 나누고 그 중 k-1개를 train, 나머지 1개를 validation data라 하고 학습을 진행한다. 1-1) k-1개를 선택하는 모든 경우에 대해 반복하여 진행하고 그들의 적절한 평균으로 최종 모형 선택 ..

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 3.
• textsms

경사하강법(gradient descent)의 한계

1. 선형회귀분석 주어진 n개의 데이터에서 이들을 가장 잘 설명하는 선형모형을 찾는다 이전에는 무어펜로즈 역행렬을 이용하여 찾았다 무어펜로즈 역행렬을 이용하여 오차의 norm을 최소화하여 회귀계수 $\beta$를 찾는다. 무어펜로즈 역행렬은 컴퓨터 계산 시간 측면에서 비효율적이다 변수 수 m에 따라 $O(m^{2})$이라고 한다. 대안으로 경사하강법을 이용하여 회귀계수를 추정할 수 있다. 2. 선형회귀분석에서의 경사하강법 선형회귀분석은 위에서도 보였지만 $$y-X\beta$$ 의 norm을 최소화하는 $\beta$를 찾는것. 그러므로 $$y-X\beta$$ 의 norm을 $\beta$로 미분한 그래디언트 벡터를 구한다 그래디언트 벡터를 구하면 경사하강법을 이용하여 $\beta$에 그래디언트 벡터를 빼서 얻은..

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 2.
• textsms

여러가지 optimizer의 원리

1. Optimizer 일반적으로 최적화 알고리즘으로 gradient descent method를 사용하는데 손으로 하기도 어렵고 귀찮다. 그래서 요즘 컴퓨터가 다 계산해주는데 어떻게 계산해주느냐에 따라 여러가지 종류가 나왔다. 2. Gradient Descent 일반적인 gradient descent 방법 가중치에 그래디언트와 learning rate의 곱을 빼면서 update한다. 문제는 learning rate를 어떻게 잡아야할지가 고민이다. 너무 크게 잡자니 overshooting으로 학습이 안되는 현상이 나타나고 너무 작게 잡자니 너무 학습이 느림 3. Momentum 어떻게 하면 최적치에 더 빨리 갈수 있을까라는 생각에 이전 gradient의 정보를 가진 momentum을 이용하자. 이전에 g..

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 2.
• textsms

신경망은 무엇이고 딥러닝에서 활성화함수를 왜 사용하는가?

1. 신경망(neural network) 보통 인간의 뇌에서 애매하게 영감받아 만들어낸 컴퓨팅 시스템?이라고 말한다 왜 신경망이 성능이 좋을까? 인간의 뇌를 모방해서 잘 작동한다? 꼭 그렇지는 않다 왜냐하면 역전파 알고리즘이 우리 뇌에서 작동하는가? 그렇지는 않잖아 수학적으로 신경망은 affine transformation(행렬 변환)과 nonlinear transformation의 순차적이고 반복적인 곱의 형태로 구해지는 함수 근사 모형이다. 신경망은 선형모형과 비선형함수인 활성화함수의 합성함수이다. 활성화함수는 기본적으로 선형모형의 결과를 원하는 방향으로 해석하게 도와준다. 활성화함수를 쓰지 않으면 딥러닝은 선형모형과 차이가 없다 2. linear neural network 일반적으로 잘 아는 기본 ..

• format_list_bulleted 딥러닝 기초
• · 2021. 12. 31.
• textsms