hardware-software codesign 개념

1. compression과 acceleration의 차이점 완전히 뜻이 달라보이는 두 단어는 보통 같이 따라다니는 단어라고??? compression같은 경우는 공간적으로 중요한 정보는 남기고 그렇지 않은 것은 제거하는 것으로 software level에서 하는 이야기 acceleration은 hardware level에서 시간적으로 속도 상승의 이야기  2. hardware의 성능이란 hardware는 보통 사람이 원하는 것을 수행해주는 도구의 역할을 함  사람이 무언가를 설계하여 software로 구현을 하면 compiler가 번역하여 그것을 hardware가 수행하여 output을 낸다  설계된 프로그램?에 사람이 input을 집어넣으면 algorithm에 의해 output이 나옴 사람이 이렇게 ..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 27.
• textsms

tensor decomposition - Tucker decomposition, CP decomposition

1. overview  matrix가 2차원에서 데이터를 모델링했으면 tensor는 3차원 이상에서 주어진 데이터를 모델링하고자함  mp3 음성 데이터는 rank1 tensor로 모델링할 수 있고 grey image는 rank2 tensor로 모델링할 수 있고  RGB 이미지는 rank3 tensor로 모델링할 수 있음    2. spectral decomposition 두 벡터 a ∈ $R^{m}$ , b ∈ $R^{n}$에 대하여 a와 b의 outer product는 하나의 m*n행렬 X = a ⊙ b를 나타낸다.  바꿔말해서 하나의 m*n행렬이 두개의 0이 아닌 벡터의 outer product X = a ⊙ b 로 나타낼 수 있으면  행렬 X를 rank one matrix라고 부른다.    비슷하게..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 19.
• textsms

MobileNet과 network decoupling

1. overview MobileNetV1은 depthwise separable convolution을 사용해 계산량을 줄이고 MobileNetV2는 inverted Residual block을 통해 계산량을 줄이고 MobileNetV3는 MobileNetV2에 Squeeze and excite를 사용해 계산량을 줄였다고함  2. MobileNetV2 ReLU6는 min(max(x,0),6)으로 ReLU에서 상한선을 6으로 고정한 함수 MobileNet 시리즈는 ReLU함수로 ReLU6를 사용   MobileNetV1과 MobileNetV2(stride=1, stride=2 version)의 기본 구조 비교  MobileNetV1은 depthwise convolution을 수행하고 pointwise co..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 18.
• textsms

컴퓨터 과학에서 말하는 compression의 개념

1. 손실압축과 비손실압축 비손실압축은 압축된 자료를 원래 자료로 복원하면 그대로 원래 자료가 나오는 압축 방식 손실압축은 압축된 자료를 원래 자료로 복원해도 원래 자료 그대로 나올수가 없는 압축 방식 mp3같은 소리 압축 방식은 original 소리에 사람이 들어도 이해할 수 없는? 너무 저주파나 너무 고주파를 Fourier transform으로 잘라 남은 것을 합쳐 가청주파수로 만드는 방식 그러니까 복원해도 원래 original 소리로 완벽하게 나오지 않는 대표적인 손실 압축이다   2. Huffman coding message에 대한 encoding 약속이 original message의 길이에 depend하는 방식 original message에 등장을 자주하는 단어는 적은 bit로 압축하고 등장..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 11. 6.
• textsms

model compression이란 무엇인가?

1. problem solving large model이라는 initial state 데이터가 아닌 model이 input 적절한 경량화 기술을 통해 problem solving을 하여 compressed model을 얻는 과정이 model compression 적절한 경량화 기술은 pruning, quantization, knowledge distillation, filter decomposition 등을 의미 model compression의 decision problem solving 그림 2. optimization problem large neural network가 주어질 때 pruning, quantization, knowledge distillation, filter decompositio..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 3. 4.
• textsms