knowledge distillation 자세하게

1. background  “model training과 deployment 단계에서 필요한 parameter는 다르다”  애벌레가 번데기가 되려면 다양한 환경에서 에너지와 영양소를 잘 흡수할 수 있어야함 그러나 번데기에서 나비로 어른이 될 때는 이와는 매우 다른 traveling, reproduction에 대한 요구사항이 필요함 이 때는 영양소를 흡수하는데 주력하기보다는 몸도 가볍고 생식도 잘하도록 최적화되어야함 머신러닝도 이와 마찬가지임  training 단계와 deployment 단계에서 필요로하는 요구사항이 완전히 다르다는 것임  training단계에서는 애벌레가 번데기가 되기위해 에너지를 잘 흡수하던것 처럼 주어진 대용량의 데이터로부터 구조와 지식을 잘 흡수해야함   deployment 단계에서..

• format_list_bulleted light weight modeling
• · 2024. 9. 24.
• textsms

visual and audio matching modality - SoundNet

1. sound tagging sound를 통해 해당 장면들이 beach인지 classroom인지 어떤 장면인지 알아내는 문제  비디오 프레임과 소리를 받아 무슨 장면인지 tag를 구하는 문제    2. SoundNet 1) 구조 unlabeled video에는 RGB frame과 sound가 혼합되어있음   RGB frame을 object detection과 scene detection을 하는 pretrain된 두 visual recognition network(ImageNet CNN 계열)에 넣는다.  visual network는 fix되어 학습되지 않는다.  waveform을 CNN계열에 집어 넣어 feature를 뽑는다.  마지막 단에서 2개의 head로 분리되는데 하나는 scene recogni..

• format_list_bulleted Computer Vision
• · 2024. 5. 2.
• textsms

pretrained model & transfer learning에 대해 제대로 이해하기

0. computer vision은 왜 발전했을까 YOLO는 실시간으로 object detection을 가능하게 만들었다 길, 사람, 자동차 등을 segmentation하여 더욱 수준 높은 self driving을 구현하려고 노력하고 있다 이것은 어떻게 가능했을까? ImageNet이라는 대형 dataset이 등장한 것이 엄청난 영향력을 행사했다고 말할 수 있다 고도화된 알고리즘이나 모델이 아닌 약 1400만개의 image와 20000개의 category를 보유한 단순한 대용량의 대형 dataset 실생활에서 발견할 수 있는 다양한 variance들을 다 충족할 수 있는 엄청 큰 대형 dataset 그래서 획기적인 알고리즘 개발이 물론 중요하지만 ImageNet에 검증을 못하면 그런 알고리즘도 실생활에 쓸..

• format_list_bulleted 딥러닝 기초
• · 2023. 5. 4.
• textsms

pytorch 재활훈련 -fine tuning 구현해보기-

1. fine tuning 출력층 등을 변경한 모델을 학습된 모델을 기반으로 구축한 후, 직접 준비한 데이터로 신경망 모델의 결합 가중치를 학습시키는 방법 결합 가중치의 초기값은 학습된 모델의 parameter를 사용하는 것이 보통이다. finetuning은 transfer learning과는 다르게 출력층, 출력층에 가까운 부분 뿐만 아니라, 모든 층의 parameter를 재학습시킨다는 것이 특징이다. 일반적으로 입력층에 가까운 부분의 parameter는 learning rate를 작게 설정하고, (경우에 따라서는 바꾸지 않고) 출력층에 가까운 부분의 parameter는 learning rate를 크게 설정한다 transfer learning처럼 학습된 모델을 기반으로 하는 fine tuning은 직접..

• format_list_bulleted Pytorch
• · 2023. 1. 8.
• textsms

pytorch 재활훈련3 -transfer learning 해보기-

1. 실제 비즈니스에서 딥러닝 구현하는 방식 학습이 끝난 모델을 사용해 ILSVRC의 1000종류 클래스에서 이미지 라벨을 예측했지만, 실제 비즈니스에서는 예측하고자 하는 이미지의 라벨이 ILSVRC에서 사용한 1000종류 클래스와는 다르므로, 자신의 데이터로 딥러닝 모델을 다시 학습시켜야 한다. 1-1) 파이토치를 활용한 딥러닝 구현 흐름 먼저 앞으로 구현할 딥러닝 응용 기술의 전체 그림을 파악 1) 구체적으로는 전처리, 후처리, 네트워크 모델의 입출력을 파악한다. 2) 다음으로는 Dataset 클래스를 작성 입력 데이터와 라벨 등을 쌍으로 갖는 클래스 Dataset에는 데이터에 대한 전처리 클래스의 인스턴스를 할당해서 파일을 읽을 때 자동으로 전처리를 적용 훈련데이터, 검증데이터, 테스트데이터에 대한..

• format_list_bulleted Pytorch
• · 2023. 1. 6.
• textsms

BERT의 Transfer learning 활용 예시 알아보기

1. BERT의 transfer learning pre-training으로 masked language modeling과 next sentence prediction을 동시에 수행한다. pre-training한 BERT는 down stream task를 위해 적절하게 초기화된 가중치를 갖고 이를 바탕으로 여러 task를 수행 2. sentence pair classification & single sentence classification sentence pair classification은 entailment prediction을 생각할 수 있을 것 같고 single sentence classification은 sentiment classification을 생각할 수 있을듯? sentence pair ..

• format_list_bulleted NLP
• · 2022. 10. 25.
• textsms