가장 좋은 augmentation을 찾기 위한 시도들 - AutoML, Rand augmentation

1. issue  task나 dataset 종류에 따라서 잘 되는 augmentation이 다르고 적용해야하는 강도나 크기도 달라  숫자를 인식해야하는 MNIST 데이터셋의 경우 9라는 이미지를 180도 회전한 이미지로 바꾸면 6으로 인식되는데  label은 여전히 9라고 하는데 누가봐도 6으로 보이니 성능이 저하될 수 있음 capacity가 작은 모델에 학습이 어려운 augmentation을 적용하면 오히려 부담을 느껴 성능이 저하됨  2. AutoAugment 그렇다면 컴퓨터의 힘을 빌려 AutoML을 통해 task와 데이터에 최적화된 augmentation을 찾아보자   데이터로부터 data augmentation의 policy를 학습하는 모델을 만드는것 모델로부터 데이터의 특징을 잘 살려주는 au..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 10. 1.
• textsms

AutoML의 개념 알아보기

1. data engineering?  1) 전통적인 데이터 엔지니어링  data cleansing후에 data preprocessing을 수행하고   정제된 데이터로부터 feature engineering을 통해 적절한 feature를 선택하면   task에 맞는 적절한 ML 알고리즘을 선택하고   선택한 알고리즘의 hyperparameter를 tuning한다  딥러닝 관점에서 ML 알고리즘을 선택하는 과정은 task에 맞는 적절한 backbone network를 선택하는 것과 비슷 hyperparameter를 선택하는 과정은 딥러닝에서는 loss나 optimizer나 batchsize 등등을 선택하는 것과 비슷하다  2) 모델을 학습하는 과정?  task에 대한 데이터셋이 주어지면 cleansing..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 23.
• textsms

network compiling 간단하게

1. motivation  학습이 완료된 network를 deploy하려는 target hardware에 inference가 가능하도록 compile하는 작업  최적화 기법도 동반되어 사실상 속도에 가장 큰 영향을 미치는 작업 그러나 가장 복잡하면서 내용이 상당히 어려움 유명 제조사들에서 compile library를 제공함 NVIDIA의 TensorRT는 NVIDIA GPU에 최적화시켜 compile을 수행 Tensorflow의 Tflite는 여러 embedded device에 성능을 보장해줌 apache의 TVM은 Tflite와 비슷한 기능들을 제공?  2. 문제점  compile library마다, 적용하는 모델마다 성능에 차이가 있음    기본적으로 compile을 수행하면 inference 속도..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 16.
• textsms

Efficient Architecture design이란

1. motivation 효율적인 architecture를 디자인하여 큰 모델 못지 않은 성능을 내는 모듈을 만들고자 하는 것이 efficient architecture design 최근 trend는 사람이 디자인하는 것보다 AutoML이나 Neural Architecture Search같은 컴퓨터가 optimization으로 모델을 찾게 만듦  2. 필요성 매일 다양한 특성을 가지는 module들이 쏟아져나오고 있음 이 module들은 특징이 다양함.  parameter가 적은데 성능은 좋다든지 성능만 좋고 parameter는 너무 많다든지 연산량이 적은데 성능이 떨어진다든지    왼쪽 그림은 연산횟수에 따른 정확도 비교. 원의 크기는 model의 parameter 오른쪽 그림은 model의 param..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 8. 14.
• textsms