network quantization 간단하게

1. motivation 일반적으로 float32로 network 연산과정이 표현되나 그것보다 작은 크기의 데이터 타입인 float16 half precision이나 int8 fixed point로 mapping하여 연산을 수행하는 것  2. 예시   1번처럼 float32의 matrix들을 int8로 quantization mapping하여 표현을함 matrix를 계산한 결과가 2번임 2번을 다시 float32로 dequantization하면 3번이 됨 실제 quantization하지 않고 계산한 4번과 비교하면 어느정도 오차가 있는데 이것을 quantization error라고 부름 경험적으로 quantization error에 대해 robust하게 network가 잘 작동한다는 사실이 알려져서 보편..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 16.
• textsms

왜 경량화인가? 딥러닝 모델의 경량화가 필요한 이유

1. motivation 머신러닝과 딥러닝은 이제 거의 모든 분야에서 활용되고 있음 자율주행자동차, entertainment, healthcare, NLP, text, speech, image, audio 등등 다양한 application   2. on device AI  smartphone, smartwatch, IoT device 등에 자체적으로 머신러닝이나 딥러닝 어플리케이션이 올라가 inference를 수행함  이미 object detection, translation 등이 on device에서 수행가능한 딥러닝 어플리케이션들 그러나 올려야하는 어플리케이션이 power(battery) usage가 적어야하고 RAM memory usage가 적어야하고 storage가 적어야하고 computing p..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 14.
• textsms

머신러닝 관점에서 information transmission

2. acceleration 시간에 따른 거리의 변화량이 속도이고 속도의 변화량이 가속도(acceleration) 2-1) python list와 numpy array python list는 각각의 element를 개별 object 단위로 저장 numpy array는 비슷한 data type들을 메모리 상 동일한? 비슷한? 위치에 한번에 잡아서 처리함  python list는 element 개별 주소를 부여하여 저장 numpy array는 동일한 type의 element를 한번에 묶어서 저장 numpy array는 c를 기반으로 만들어져 python list에 비해 가속(속도가 빠름)되었음   실제로 numpy array가 0.1초 정도 빠름 2-2) python과 C python도 C를 기반으로 만들어..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 11. 3.
• textsms