1. natural language problem 컴퓨터가 주어진 인간의 단어나 문장을 이해하는 understanding과 적절한 자연어를 생성하는 generation으로 나뉜다. 컴퓨터 비전(CV) 분야와 더불어 딥러닝의 발전과 함께 인공지능이 가장 활발하게 적용된 분야중 하나 현재까지 주어진 단어나 문장, 문단을 보고 다음 단어를 예측하는 language modeling 주어진 문장을 이해하여 적절한 번역문을 차례대로 생성하는 machine translation 주어진 지문을 이해하고 그에 대한 질문에 적절한 대답을 제시하는 question answering 다양한 카테고리의 여러 문서를 적절한 카테고리로 분류하는 document classification 인간의 물음을 이해하고 적절한 대답을 생성하..
1. 그래프(graph) 정점(vertex) 집합과 간선(link) 집합으로 이루어진 수학적 구조 네트워크(network)라고도 부른다. 정점은 node라고도하고 간선(link)은 edge라고도 한다. 두개의 정점을 연결하는 선이 간선(link) 정점 쌍이 반드시 간선으로 직접 연결될 필요는 없다. 1,2,3,4,5,6 숫자 점이 정점(node) 각 node가 연결되는 선들이 간선(link) 이들의 모임이 그래프(graph), 네트워크(network) 특히 3번과 6번은 직접 연결되어있지 않다 2. 그래프의 중요성 2-1) 복잡계(complex system) A complex system is a system composed of many components which may interact with e..
1. cross validation의 목적 과적합을 피하고 parameter를 튜닝하면서 일반적인 더욱 신뢰성있는 모델을 만들기 위해서이다. 2. holdout validation - validation set이 왜 필요할까?- validation set은 왜 필요한가? 일반적으로 train set과 test set을 7:3의 비율로 나누는데 그런 경우 train한 모델이 train set에만 과적합될 가능성이 매우 높다. 그래서 train set을 train과 validation set으로 나누는데 이 경우 validation set으로 train model을 평가하면서 hyperparameter를 튜닝할 수 있게 된다. 이렇게 데이터셋을 나누는 것을 holdout validation이라 한다. 그런데..
1. Computer vision이란? 사진이나 비디오 등 영상정보로부터 장면의 본질인 3D 모델을 구하는 기술을 Graphics라고 한다. 반대로 3D 모델, 어떤 물체의 본질을 가지고 있을 때 이것을 영상이나 비디오로 만드는 기술을 Computer vision이라고 한다. computer vision을 inverse graphics라고도 부른다 가장 먼저 딥러닝 기술에 의해 paradigm shift가 일어난 분야가 computer vision 2. AI란 무엇인가? 사람의 지능을 컴퓨터 시스템으로 구현한 것 지능의 범위가 도대체 무엇? ‘사고하고 인과관계를 분석하는 것 외에도 시각이나 소리에 관한 지각능력, 이해에 관련된 내용도 포함한다 옥스포드에서 정의한 AI는 인간 지능의 범위를 시각 인지능력부..
1. 확률적 경사하강법(stochastic gradient descent method, SGD) 모든 데이터를 사용하는 것이 아닌 매 스텝마다 데이터 1개를 sampling하여 각 스텝마다 gradient를 계산한 경사하강법 목적식이 볼록(convex)이 아니면 확률적 경사하강법을 이용하여 최적화 할 수 있다. 또한 데이터 세트가 매우 클때 일반적인 경사하강법은 속도가 너무 느려져서 매 스텝마다 일부 데이터만 사용하는 확률적 경사하강법을 이용하여 속도를 높일 수 있다. 연산량에 있어서 효율적임 만능은 아니지만 딥러닝에서는 일반적인 경사하강법보다 낫다고한다 그림1을 보면 데이터의 일부를 사용하여 추정한 그래디언트 벡터의 기댓값이 실제 그래디언트 벡터에 근사한다 데이터를 확률적으로 선택하기 때문에 안정적으로..
k-fold validation이라고도 한다. 보통 모형의 성능을 높이기 위해서 주어진 전체 data를 train data + validation data와 test data로 나눈다. train data는 학습을 위해 사용되는 부분이고 validation data는 학습한 모형의 성능을 평가하면서 hyperparameter를 튜닝하기 위해 사용한다. test data는 오직 최종 모형의 성능을 평가하기 위해서만 사용한다. 그런데 이들을 어떻게 나눠야 할까? train data를 k개의 fold로 나누고 그 중 k-1개를 train, 나머지 1개를 validation data라 하고 학습을 진행한다. 1-1) k-1개를 선택하는 모든 경우에 대해 반복하여 진행하고 그들의 적절한 평균으로 최종 모형 선택 ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
