tensor decomposition 간단한 설명

학습된 weight tensor를 더 작은 단위의 vector나 tensor의 곱이나 합의 조합으로 근사적으로 표현하는 것 저장해야하는 weight가 줄어들어 computation이 줄어드는 효과  1. CP decomposition  rank one tensor의 P개의 linear combination으로 주어진 tensor를 decomposition할 수 있다는 것    convolution weight tensor x를 vector a,b,c의 outer product(=rank one tensor)의 linear combination(summation)으로 근사적으로 분해함 실제 network에 활용할 때는 일반적으로 full convolution이 image에 filter tensor를 con..

• format_list_bulleted light weight modeling
• · 2024. 8. 17.
• textsms

linear transformation에 대해 간단하게

matrix나 tensor는 linear transformation이다.    1차원의 [0,1]의 선분을 linear transformation T(x)=3x를 통해 변환하면 3배 늘어난 선분 [0,3]이 된다    주어진 2차원의 정사각형 ABCD를 linear transformation     을 통해 변환하면 2배 늘어나고 회전된 정사각형 A’B’C’D’이 된다    조금 더 복잡하게 주어진 정사각형을 늘리거나 회전시키거나 비틀어버리거나 하더라도 linear transformation 수학적으로 vector space V,W에 대하여 f: V → W가 linear map이라는 것은  임의의 vector u,v ∈ V와 scalar c가  $f(u+v)=f(u)+f(v)$ , $f(cu)=cf(u)..

• format_list_bulleted 선형대수학
• · 2024. 6. 7.
• textsms

라그랑주 승수법 간단하게

라그랑주 승수법은 제약조건이 있을 때 함수를 최대화, 최소화시키는 방법이다 최적화시키고자하는 함수 f(x,y)와 제약조건은 보통 g(x,y) = c 형태로 주어진다. 변하는 값은 함수 f(x,y)인데 이것을 변화시키다가 g(x,y) = c와 서로 접할때 함수 f가 최대가 되는 경우가 가장 쉬운 경우 https://deepdata.tistory.com/1115 gradient descent를 위한 gradient vector의 이론적 설명 간단하게 1. 방향도함수(directional derivate) 이변수함수 z = f(x,y)와 임의의 단위벡터(norm이 1인 벡터) u = (a,b)에 대하여... 벡터 u를 지나는 평면으로 z = f(x,y)를 잘랐을때 생기는 곡선 위 (x0,y0,z0)위에서의 접..

• format_list_bulleted 딥러닝 기초
• · 2024. 3. 1.
• textsms

자바 자료구조1 -동적배열(ArrayList)

1. 정적 배열 자바에서 배열을 선언하기 위해 다음과 같이 선언한다. //길이 100인 정수형 배열 int[] array = new int[100]; 이렇게 선언한 배열을 정적 배열이라고 부른다. 정적 배열은 배열의 선언과 동시에 크기를 정해주어야하고, 이후 크기를 변경할 수는 없다. 변경하는 방법이야 있겠지만.. 그 방법이 쉽지는 않다 2. 동적 배열 자주 길이가 바뀌는 경우, 정적 배열을 사용하고 싶다면, 길이를 아주 충분히 큰 배열로 선언한다면 가능할지도 모른다. 하지만 너무 많은 메모리를 낭비하는 것일 수도 있다. 이를 해결하기 위해 나온 것이 동적 배열 동적 배열은 자유롭게 길이가 줄어들고 늘어날 수 있다. 정확히 사용하고 싶은 만큼만 공간메모리를 차지하여 사용하는 방식이다. 삽입, 삭제, 탐색..

• format_list_bulleted Java 기초
• · 2023. 2. 23.
• textsms

dense embedding과 sparse embedding 비교

1. passage embedding 하나의 단락 passage를 embedding으로 변환하는 것 주어진 단락이 가지는 뜻을 담는 숫자를 가지는 벡터에 mapping하는 것이 목표 passage embedding은 문서를 벡터로 변환하는 것이다. 2. sparse embedding TF-IDF같은 embedding은 벡터 크기가 매우 크지만 0인 숫자가 대부분인 sparse vector이다. 기반이 bag of words로 vocab의 특정 단어가 문서에 있는 경우만 nonzero가 되므로 거의 대부분 90%이상의 원소가 0인 경우가 종종 발생함 차원 수가 매우 큰 경우가 대부분인데 compressed format으로 어느 정도는 극복 가능함 예를 들어 nonzero 위치와 그 값만 저장하여 공간을 절..

• format_list_bulleted Machine Reading Comprehension
• · 2022. 5. 24.
• textsms

Sparse embedding

1. embedding space 지문을 vector space에 mapping하여 하나의 vector로 나타냄 vector space는 여러 숫자들로 이루어진 포인트들이 모인 상당히 고차원의 추상적인 공간 이렇게 지문을 embedding space 위에 벡터로 나타내면 두 지문 사이 유사성을 두 벡터 사이 거리를 이용해 계산할 수 있다. 2. bag of words sparse하다는 뜻은 dense의 반댓말로 0이 아닌 숫자가 상당히 적다는 뜻 바꿔말하면 대부분이 0인 원소를 가지는 벡터가 sparse vector bag of words의 기본형은 문서에 vocab의 각 단어가 존재하면 1, 존재하지 않으면 0을 부여하여 아주 긴 벡터로 표현하는 방법 특정 단어가 존재하는지 아닌지로만 표현함 벡터의 길..

• format_list_bulleted Machine Reading Comprehension
• · 2022. 5. 19.
• textsms