quantization의 종류들 구체적으로 살펴보기(quantization aware, post training ... )

1. how much quantization을 얼마나 했느냐에 따라 32bit가 full precision이라면 절반씩 줄여나가는 16bit quantization, 8bit, 4bit, 2bit, 1bit quantization   mixed precision으로 quantization하는 기법은 hardware-oriented compression(혹은 hardware-aware compression)에 사용된다고 함 무슨 말이냐면 hardware 친화적인 compression, 사용하는 hardware에 맞춘 compression 구체적으로 아주 미세한 layer 단위에서 어떤 layer는 3bit, 어떤 layer는 5bit quantization을 하는 등 layer 단위로 섞어서 다른 quan..

• format_list_bulleted light weight modeling
• · 2024. 11. 27.
• textsms

hardware optimization이 일어나는 원리 locality of reference

1. hardware specific optimization deep learning model의 compile과정에서 backend단에서 target hardware에 맞춰가는 optimization을 위해 여러가지 방법들이 사용 hardware intrinsic mapping, memory allocation & fetching, loop oriented optimization techniques, parallelization 등등   loop oriented optimization technique는 직관적으로 이해하기 쉬운데 loop fusion은 겹치는 loop를 하나로 합치는 것일테고 reordering은 loop 순서를 바꾸는 것일테고 unrolling은 loop를 풀어서 하나하나 실행되게 ..

• format_list_bulleted light weight modeling
• · 2024. 11. 26.
• textsms

lottery ticket을 찾는 방법들로 제안된 방법들 살펴보기

1. iterative magnitude pruning 최초 논문에서 제안한 lottery ticket를 찾는 방법 초기 W0로 parameter initialization을 수행하고 T번 training을 수행 이 때 magnitude pruning을 수행하여 mask m1을 찾는 것임 magnitude는 weight의 크기를 기준으로 적은 크기를 가지는 weight를 제거함 그러면 이제 이게 lottery ticket인지 확인하기 위해 초기 W0에 mask m1을 씌운 뒤 T번 training을 시켜 검증을 하는거지 아니라면 다른 pruning을 수행하여 mask m2를 얻고 위 과정을 계속 반복해서 lottery ticket를 찾겠다 이거임    2. iterative magnitude prunin..

• format_list_bulleted light weight modeling
• · 2024. 11. 25.
• textsms

C++ 프로그램 빌드 과정

컴파일은 C++ 소스코드를 컴퓨터가 이해할 수 있는 코드로 변경하는 과정 1) 컴퓨터의 프로세서는 사람이 작성한 코드를 당장 해석할 수 없어서 프로세서가 이해할 수 있는 오브젝트 코드로 변경해야하는데 이를 컴파일(compile)이라 함 2) 때로는 프로그램의 소스파일이 여러개일 수 있는데, 각각의 소스파일을 컴파일하여 만든 오브젝트 파일을 하나의 실행파일로 묶는 과정을 링크(link)라고 함 컴파일과 링크를 거쳐 프로세서가 실행할 수 있는 파일이 만들어진다. 3) C++은 컴파일하기 전에 전처리 과정을 거치는데, 소스파일이 컴파일되기 전에 소스 코드를 변경하거나 확장하는 등 작업을 의미 전처리기는 #include, #if, #define 등 #기호로 시작하는 지시문을 해석하고 그에 따라 소스 코드를 변경..

• format_list_bulleted C++
• · 2024. 11. 24.
• textsms

재귀적으로 점화식 세우는 다이나믹 프로그래밍 연습1

6096번: Bulls and Cows 총 n마리의 암소와 황소를 한줄로 세울때, 두 마리의 황소 사이에 최소 k마리의 암소가 있도록 줄을 세운다고 할 때, 그러한 방법의 수를 5000011로 나눈 나머지를 구한다. 이때 각 소는 구분할 수 없어서 서로 다르게 세워진 경우만 다른 경우의 수로 센다 n  2마리 황소 사이에 k마리 암소 세우고.. 어떻게 순열 돌리고 흠... dp[i][j]를 i마리 소 세우는데 마지막에 황소가 오는 경우가 j = 0, 아닌 경우가 j = 1인데  마지막에 황소가 온다고 하더라도 그 전 정보를 알수가 없으니 이건 흠... --------------------------------------------------------------------------------------..

• format_list_bulleted 다이나믹 프로그래밍
• · 2024. 11. 23.
• textsms

재배열 부등식(rearrangement inequality)을 이용한 내적의 최대 최소

1. 재배열 부등식(rearrangement inequality) 실수 $x_{1}  1,2,..,n의 임의의 순열$\sigma_{1}, \sigma_{2}, ... , \sigma_{n}$으로부터$$x_{1}y_{n} + x_{2}y_{n-1} + ... + x_{n}y_{1}   2. 증명$S1 = x_{1}y_{1} + x_{2}y_{2} + .... + x_{a}y_{a} + .... + x_{b}y_{b} + ... + x_{n}y_{n}$에서$y_{a}  $S2 = x_{1}y_{1} + x_{2}y_{2} + ... + x_{a}y_{b} + ... + x_{b}y_{a} + ... + x_{n}y_{n}$ 둘을 뺴면 $S1 - S2 = x_{a}(y_{a} - y_{b}) + x_{..

• format_list_bulleted 그리디 알고리즘
• · 2024. 11. 22.
• textsms