왜 경량화인가? 딥러닝 모델의 경량화가 필요한 이유

1. motivation 머신러닝과 딥러닝은 이제 거의 모든 분야에서 활용되고 있음 자율주행자동차, entertainment, healthcare, NLP, text, speech, image, audio 등등 다양한 application   2. on device AI  smartphone, smartwatch, IoT device 등에 자체적으로 머신러닝이나 딥러닝 어플리케이션이 올라가 inference를 수행함  이미 object detection, translation 등이 on device에서 수행가능한 딥러닝 어플리케이션들 그러나 올려야하는 어플리케이션이 power(battery) usage가 적어야하고 RAM memory usage가 적어야하고 storage가 적어야하고 computing p..

• format_list_bulleted light weight modeling
• · 2024. 8. 14.
• textsms

on device AI를 활용하는 사례

1. on-device AI model의 size는 점점 커지면서 그동안 model과는 비교할 수 없을 정도의 압도적인 괴물 model GPT-3가 등장했다 2021년 등장한 switch transformer은 이 GPT-3보다 9.14배나 더 큰 모델 GPT-3는 1번 training하는 것에만 한국 돈으로 약 50억 정확도를 80% > 90% > 99%로 10%정도 올리고 싶다고 50억을 쓰는게 물론 정확도를 높이는 것은 중요하지만 정말 맞는 일인가? 2. lightweight AI의 필요성 TinyML, on-device AI, Edge AI, Embedded AI, Edge intelligence 등으로 불림 소비자가 반응하는거에 빠르게 제공해줬으면(real time customer engagem..

• format_list_bulleted light weight modeling
• · 2022. 3. 2.
• textsms