knowledge distillation 간단하게

이미 학습된 큰 규모의 teacher network가 있다면 작은 student network 학습시 teacher network의 지식을 전달하여 학습을 시키자.  1. 일반적인 방법 주어진 input x를 pretrained teacher model과 student model에 넣어서 output을 낸다 teacher model의 경우 softmax(T=t)를 사용하여 soft label을 내놓고 student model은 softmax(T=1)의 hard label과 softmax(T=t)의 soft label을 모두 내놓는다   A부분에서는 student model의 hard prediction을 이용하여 ground truth와의 cross entropy를 이용한 일반적인 training이 이루..

• format_list_bulleted light weight modeling
• · 2024. 8. 15.
• textsms

Efficient Architecture design이란

1. motivation 효율적인 architecture를 디자인하여 큰 모델 못지 않은 성능을 내는 모듈을 만들고자 하는 것이 efficient architecture design 최근 trend는 사람이 디자인하는 것보다 AutoML이나 Neural Architecture Search같은 컴퓨터가 optimization으로 모델을 찾게 만듦  2. 필요성 매일 다양한 특성을 가지는 module들이 쏟아져나오고 있음 이 module들은 특징이 다양함.  parameter가 적은데 성능은 좋다든지 성능만 좋고 parameter는 너무 많다든지 연산량이 적은데 성능이 떨어진다든지    왼쪽 그림은 연산횟수에 따른 정확도 비교. 원의 크기는 model의 parameter 오른쪽 그림은 model의 param..

• format_list_bulleted light weight modeling
• · 2024. 8. 14.
• textsms

왜 경량화인가? 딥러닝 모델의 경량화가 필요한 이유

1. motivation 머신러닝과 딥러닝은 이제 거의 모든 분야에서 활용되고 있음 자율주행자동차, entertainment, healthcare, NLP, text, speech, image, audio 등등 다양한 application   2. on device AI  smartphone, smartwatch, IoT device 등에 자체적으로 머신러닝이나 딥러닝 어플리케이션이 올라가 inference를 수행함  이미 object detection, translation 등이 on device에서 수행가능한 딥러닝 어플리케이션들 그러나 올려야하는 어플리케이션이 power(battery) usage가 적어야하고 RAM memory usage가 적어야하고 storage가 적어야하고 computing p..

• format_list_bulleted light weight modeling
• · 2024. 8. 14.
• textsms

GLUE 벤치마크(benchmark)는 왜 필요한가?

1. GLUE(General Language Understanding Evaluation) 대량의 데이터를 사전학습하고 원하는 task에 대해 fine-tuning만 하면 사람의 말을 기계가 잘 이해한다는 일반적인 주장이 통용 task를 전부 잘해야한다는 걸 보여줘야하니 다양한 측면을 평가해주는 데이터 군들이 중요하게 다가왔다. 어떤 모델이든 동일한 체계 위에서 공정하게 평가하는 하나의 기준이 필요했다는 것이다. QQP는 질문 2개를 임의로 뽑아 사실상 같은 질문인지 아닌지 파악하는 과제 SST-2는 stanford에서 나온 문장이 부정적인지 긍정적인지 파악하는 과제 CoLA는 문장에 문법적인 오류가 있는지 없는지 파악하는 언어 수용성 과제 STS-B, MRPC는 2개 문장의 유사도를 평가하는 과제 RT..

• format_list_bulleted NLP
• · 2024. 8. 14.
• textsms

RAG(Retrieval-Augmented Generation)의 개념 간단하게

LLM은 뛰어난 능력을 보여왔지만, 실제 사용을 위해서는 환각 현상이나 느린 지식 업데이트, 답변 투명성 부족 등 같은 문제를 해결해야합니다. RAG는 검색 - 증강 생성이라는 뜻으로 LLM에서 질문에 대한 답변이나 텍스트를 생성하기 전에,  광범위한 데이터베이스 집합에서 관련 정보를 검색하고 이러한 정보를 포함하여 자연스러운 답변을 생성하는 방법 LLM 내부적으로 훈련된 데이터가 시대에 뒤떨어져있을 수 있고, 특정 영역에 대해 지식이 부족할 수 있으며  응답의 투명성이 부족하다는 문제를 해결하는데 중점을 둔다    RAG는 답변의 정확도를 크게 향상시키고 지식 집약적인 작업에서 모델의 환각을 줄이는데 도움이 된다. 또한 사용자가 출처를 인용하여 답변의 정확성을 검증할 수도 있어 모델의 출력에 대한 신뢰..

• format_list_bulleted LLM
• · 2024. 8. 11.
• textsms

시간에 따른 편향을 고려한 latent factor model

1. motivation 우연히 넷플릭스 시스템의 변화로 전체 영화들의 평점 평균이 급격히 상승한 사건이 관측 되었다.    심지어 영화의 평점은 출시일 이후부터 관측해보면 상승하는 경향이 있었음   어떤 영화로 인해 팬이 되면서 오랜 출시일이 지난 영화를 찾아본다거나 입소문이 나면서 평이 좋은 영화를 추천 받아서 본다거나 추천시스템이 좋다고 하는 것을 계속 보거나  2. idea 영화의 평점이 시간에 영향을 받는다는 것을 알았으므로 사용자의 편향과 상품의 편향이 시간의 함수라고 가정함   위 모형을 바탕으로 앞에서와 같이 모형의 복잡도까지 고려한 loss function을 구성하고  경사하강법으로 loss를 줄이면서 최적화시켜 사용자편향, 상품편향, 사용자 embedding, 상품 embedding을 ..

• format_list_bulleted recommendation system
• · 2024. 7. 19.
• textsms