neural network에서의 low rank approximation은 무엇이 있는가

1. filter decomposition network의 filter를 decomposition하여 계산량을 줄이면서 decomposition하기 전의 결과에 approximation시키는 방법 depthwise separable convolution은 depthwise convolution을 수행하고 pointwise convolution을 수행하여 일반적인 convolution보다 계산량을 줄이고 원래 일반적인 convolution의 결과에 거의 approximation할 수 있다.. (같지 않나 아닌감)   2. low rank tensor approximation 이미 학습된 network의 filter가 차원이 너무 높아 계산비용이 너무 많이 드는 경우 하지만 input을 받아 output을 ..

• format_list_bulleted light weight modeling
• · 2024. 11. 20.
• textsms

Unexpected key(s) in state_dict: "model.electra.embeddings.position_ids". 에러 해결하기

예전에 학습한 모델을 다시 써볼려고 하는데 import pytorch_lightning as plimport torchimport torch.nn as nnfrom transformers import AutoTokenizer,AutoModelForSequenceClassification,BertForSequenceClassificationdevice = "cuda" if torch.cuda.is_available() else "cpu"class TextClassificationStudentModule(pl.LightningModule): def __init__(self, config, labels, lr=5e-4, alpha=1.0): super().__init__() se..

• format_list_bulleted Pytorch
• · 2024. 10. 30.
• textsms

가장 좋은 augmentation을 찾기 위한 시도들 - AutoML, Rand augmentation

1. issue  task나 dataset 종류에 따라서 잘 되는 augmentation이 다르고 적용해야하는 강도나 크기도 달라  숫자를 인식해야하는 MNIST 데이터셋의 경우 9라는 이미지를 180도 회전한 이미지로 바꾸면 6으로 인식되는데  label은 여전히 9라고 하는데 누가봐도 6으로 보이니 성능이 저하될 수 있음 capacity가 작은 모델에 학습이 어려운 augmentation을 적용하면 오히려 부담을 느껴 성능이 저하됨  2. AutoAugment 그렇다면 컴퓨터의 힘을 빌려 AutoML을 통해 task와 데이터에 최적화된 augmentation을 찾아보자   데이터로부터 data augmentation의 policy를 학습하는 모델을 만드는것 모델로부터 데이터의 특징을 잘 살려주는 au..

• format_list_bulleted light weight modeling
• · 2024. 10. 1.
• textsms

hinton의 knowledge distillation이후에 발명된 knowledge distillation들 알아보기

1. introduction 기본적으로 알고있는 hinton의 최초 distillation이 baseline knowledge distillation  teacher를 여러명 두겠다는 ensemble of teacher   triplet network를 이용한 distillation   조교 선생님도 두겠다는 teacher assistant knowledge distillation  logit이 classification에서만 사용된다는 태생적인 한계 때문에 logit 말고도 다른 것에서도 지식을 배울 수 있다면? classification 문제 말고도 분명 다른 문제에서도 지식이라는 것이 있을 것임  그래서 예를 들어 최종 layer 말고 중간 layer에서 knowledge를 뽑는 feature di..

• format_list_bulleted light weight modeling
• · 2024. 9. 26.
• textsms

knowledge distillation 자세하게

1. background  “model training과 deployment 단계에서 필요한 parameter는 다르다”  애벌레가 번데기가 되려면 다양한 환경에서 에너지와 영양소를 잘 흡수할 수 있어야함 그러나 번데기에서 나비로 어른이 될 때는 이와는 매우 다른 traveling, reproduction에 대한 요구사항이 필요함 이 때는 영양소를 흡수하는데 주력하기보다는 몸도 가볍고 생식도 잘하도록 최적화되어야함 머신러닝도 이와 마찬가지임  training 단계와 deployment 단계에서 필요로하는 요구사항이 완전히 다르다는 것임  training단계에서는 애벌레가 번데기가 되기위해 에너지를 잘 흡수하던것 처럼 주어진 대용량의 데이터로부터 구조와 지식을 잘 흡수해야함   deployment 단계에서..

• format_list_bulleted light weight modeling
• · 2024. 9. 24.
• textsms

컴퓨터 비전에서 사용하는 기본적인 data augmentation 2

1. overview  기존 데이터에 변화를 가해 추가로 데이터를 확보하는 방법 데이터가 적거나 imbalance된 상황에서 효과적으로 활용가능  적절한 변환을 하더라도 이미지 데이터의 불변하는 성질을 모델에 전달하여 robust하게 만든다  예를 들어 강아지 이미지는 회전을 하더라도 늘리더라도 일부분만 보이더라도 여전히 강아지 이미지임   어떻게 변환을 하더라도 이미지가 나타내는것은 사자임에는 변함없다  그러나 데이터 종류마다 augmentation의 종류나 특성이 달라질 것이다.  정형데이터는 정형데이터만의 augmentation이 있고  음성데이터는 음성데이터만의 augmentation이 있고  이미지 데이터는 이미지 데이터만의 augmenation이 있어 2. 경량화 관점에서 augmentatio..

• format_list_bulleted Computer Vision
• · 2024. 9. 23.
• textsms