Loading...
2024. 5. 30. 00:57

딥러닝 시대의 parameter search

1. history 사람이 프로그래밍을 통해 모델을 설계하여 일을 자동으로 해주는 도구를 만들었지만  초기에는 hyperparameter밖에 없어서 사람이 모든 모수를 직접 정해야했다 머신러닝 시대로 오면서 데이터의 어떤 feature를 주로 쓸 지 모델 설계를 사람이 여전히 해야했지만 일부 parameter를 모델이 자동으로 찾아주었다. 물론 여전히 많은 hyperparameter가 존재했다. 딥러닝 시대로 오면서 사람이 input, output을 던져주면 모델이 알아서 feature를 잡아 모델을 설계했고 대부분의 parameter도 알아서 찾아준다. 극히 일부의 hyperparameter는 여전히 존재했다. 추후에는 진짜 모델 설계부터 parameter search까지 기계가 알아서 해주는 시대가 ..

2022. 1. 10. 23:05

행렬의 기하학적 의미

1. 행렬의 정의 벡터를 원소로 가지는 2차원 배열이다. $n \times m$행렬 $X$는 다음과 같이 간단하게 나타낼 수 있다. $$X= \left ( x_{ij} \right )$$ 여기서 $i$는 행 인덱스, $j$는 열 인덱스 $x_{ij}$는 행렬 $X$의 $i$번째 행의 $j$번째 열에 있는 원소 2. 행렬의 분할 $i$번째 행을 기준으로 (빨간색 부분) 행벡터 분할하여 $n \times 1$행렬처럼 다룰 수도 있게 된다 행렬의 $j$열을 기준으로 열벡터 분할하여 $1 \times m$ 행렬처럼 다룰 수 있게 된다 3. 행렬의 기하학적 의미 벡터가 공간 상 하나의 데이터를 나타낸다면, 행렬은 공간 상 여러개의 데이터를 하나로 묶어서 표현한 것이다

2022. 1. 7. 00:08

벡터의 내적의 기하학적 의미

1. 내적의 기하학적 의미 1-1) 정사영(projection) 위의 그림에서 벡터 a를 x의 정사영이라고 부른다 (projection) 1-2) 정사영의 길이 삼각함수 cos을 이용하여 위와 같이 정사영의 길이를 쉽게 구할 수 있다. 1-3) 두 벡터의 유사도 그렇다면 x,y의 내적은 x의 정사영벡터 크기에 벡터 y의 길이를 곱한 것이 된다. 그러므로 우리는 내적을 두 벡터 x,y의 유사도 측정에 사용할 수 있을 것 같다. 두 벡터가 비슷할수록 정사영의 길이가 커서 내적도 크다 두 벡터가 비슷할수록 두 벡터가 이루는 각의 크기가 작다(cosine 값이 크다) 두 벡터의 내적이 클수록 두 벡터가 그만큼 유사하다는 것 내적이 크다는 것은 두 벡터가 이루는 각이 작아야한다는 뜻임 두 벡터는 두개의 데이터로 ..

2021. 12. 25. 23:52

벡터(vector)의 정의와 기본 연산

1. 정의 공간 상에서 하나의 점 일반적으로 n차원 공간상의 하나의 점 x는 $$x=(x_{1}, x_{2}, ... , x_{n})$$ 2. 기하학적 의미 벡터는 원점으로부터 상대적인 위치 보통 그림으로 방향과 함께 화살표로 표시한다 3. 스칼라곱 벡터에 숫자를 곱한 스칼라곱은 벡터의 길이만 변화시킨다. 스칼라 a가 음수이면 방향을 바꾼다 $$ax = \begin{pmatrix}ax_{1} \\ax_{2} \\\vdots \\ax_{n}\end{pmatrix}$$ 4. 덧셈과 뺄셈 두 벡터의 크기가 같으면 대응하는 원소끼리 덧셈, 뺄셈이 가능하다. $$x\pm y = \begin{pmatrix}x_{1}\pm y_{1} \\x_{2}\pm y_{2} \\\vdots \\x_{n}\pm y_{n}\end..