1. Gradient Descent 미분가능한 함수의 반복적인 1차미분으로 국소적 최솟값(local minimum)을 찾는 과정 loss가 감소할 때 optimum이라 기대하는 지점이 존재하는 loss function이 존재할 것이라고 가정 최적을 찾고자 하는 parameter로 loss에 대해 편미분을 함 2. stochastic gradient descent 매 학습 스텝마다 random single sample 이용한 gradient 계산 random sample 1개만 사용하여 gradient를 계산함 가장 불안정하지만 가장 빠르게 계산 가능 3. mini batch gradient descent 매 학습 스텝마다 random subset of data sample을 이용한 gradient 계산 ..
1. 참과 거짓 무언가 존재하면 참이고 존재하지 않으면 거짓 문자열 ‘abc’가 조건으로 들어갈 때는 'abc'라는 값이 존재해서 참으로 인식 문자열 ’’가 조건으로 들어가면 아무런 값이 존재하지 않아서 거짓으로 인식 2. all & any 리스트에 논리연산자만 있는 경우 사용가능 all()은 모두 참이면 True를 return하고 any()는 적어도 하나가 참이면 True를 return 3. 값과 메모리주소 비교 x==y는 x와 y의 값이 같다 vs. x is y 는 x와 y의 메모리 주소가 같다 x!=y는 x와 y의 값이 다르다 vs. x is not y는 x와 y의 메모리 주소가 다르다 파이썬에서 -5부터 256까지는 고정된 메모리 주소가 있기 때문에 a=b=100일때는 a is b는 True가 나..
1. regularization generalization이 잘 되게하고자 학습을 방해하는 요소를 추가하여 학습뿐만 아니라 test에도 잘 동작하는 모형을 만드는 방법 여러가지 방법들 모두 시도해보면서 잘 되면 좋고 아님 말고… 2. Early stopping Early stopping은 iteration이 증가할 수록 test error는 증가하니 증가하기 전에 멈추자는 원리 특히 test data는 학습 과정에서 사용하면 안되니까 train data의 일부인 validation set으로 평가했다는 점이 주목할만 하다. 3. Parameter norm penalty Parameter norm penalty는 네트워크의 parameter가 크기면에서 너무 커지지 않았으면 하는 바람에서 나온 것 L1, ..
1. 선형모형 $O=XW+b$의 형태, $X$는 input, $W$는 가중치(Weight), $b$는 절편(intercept), $O$는 선형모형에 들어간 $X$의 Output 그림1을 보면 데이터 $X$가 n*d차원에서 선형모형을 통과하면서 n*p차원의 $O$로 바뀜 d개의 input 변수가 가중치의 조합에 의해 p개의 선형 output 변수로 바뀌는 모형 d개의 변수가 가중치에 의한 선형결합으로 각각의 output변수 $O_{1}$,$O_{2}$,...,$O_{p}$가 나옴 2. softmax input 값을 각 class에 속할 확률벡터로 변환해주는 활성화함수 \[softmax(O) = (\frac{exp(O_{1})}{\sum_{k=1}^{p} exp(O_{k})}, \frac{exp(O_{2})..
1. 정의 공간 상에서 하나의 점 일반적으로 n차원 공간상의 하나의 점 x는 $$x=(x_{1}, x_{2}, ... , x_{n})$$ 2. 기하학적 의미 벡터는 원점으로부터 상대적인 위치 보통 그림으로 방향과 함께 화살표로 표시한다 3. 스칼라곱 벡터에 숫자를 곱한 스칼라곱은 벡터의 길이만 변화시킨다. 스칼라 a가 음수이면 방향을 바꾼다 $$ax = \begin{pmatrix}ax_{1} \\ax_{2} \\\vdots \\ax_{n}\end{pmatrix}$$ 4. 덧셈과 뺄셈 두 벡터의 크기가 같으면 대응하는 원소끼리 덧셈, 뺄셈이 가능하다. $$x\pm y = \begin{pmatrix}x_{1}\pm y_{1} \\x_{2}\pm y_{2} \\\vdots \\x_{n}\pm y_{n}\end..
1. 모듈(module) 하나의 작은 프로그램 조각 모듈들이 모여서 하나의 큰 프로그램이 된다 프로그램을 모듈로 잘 만들수록 다른 프로그램이 사용하기 쉽다 사람들이 생각하는 모든 상상이 이미 파이썬에는 다른 사람이 라이브러리로 구현해놓았다 모듈을 모아놓은 하나의 단위인 프로그램이 패키지(package) 파이썬에서 모듈은 py파일이다 프로그램을 py로 정한 후 다른 프로그램에서 import (파일명)으로 사용할 수 있다 fah_converter.py로 만든 py파일을 본인이 작업하고 있는 작업디렉토리에 저장 import (파일명)으로 불러오고 (모듈명).(모듈 내 존재하는 함수)로 원하는 함수를 사용함 2. namespace 모듈 호출할 때 범위를 지정..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
