transformer 간단요약2 - encoder, attention, positional encoding, decoder

1. encoder encoder는 self attention 구조와 feed forward Neural Network 구조의 두개의 sub layer로 구성되어 있다 단어 입력의 경우에는 먼저 embedding vector로 변환하는 것이 기본이다. 당연하지만 word embedding은 맨 밑단 첫 입력에서만 일어남 벡터 크기는 hyperparameter로 적절하게 정한다고 한다. embedding된 벡터 각각은 자기만의 경로를 따라 encoder를 지나간다 위에서 보면 첫 통과 layer로 self attention을 지나가는데 도대체 무슨 일이 일어날까? 예를 들어보면 ‘The animal didn’t cross the street because it was too tired.’을 생각해보자. 이..

• format_list_bulleted NLP
• · 2024. 4. 16.
• textsms

T5 모델 간단하게 알아보기

1. introduction text-to-text format을 적극적으로 밀었던 사실상 첫번째 model? BART랑 유사하면서도 text-to-text format을 활용하여 거의 모든 자연어처리 문제를 text-to-text format으로 해결하자고 제안했다 자세한 부분은 조금 다르겠지만 seq-to-seq original transformer와 유사한 구조를 사용했다 2. pre-training 다양한 모델 구조, 다양한 사전학습목표, 방대한 사전학습용 데이터셋, 다양한 fine tuning 방법등을 마련하여 체계적으로 실험을 수행 당연하지만 이들 중 가장 좋은 방식을 선택하여 방대한 규모의 모델을 학습시킴 BERT나 BART와 마찬가지로 T5같은 모델을 방대한 언어에 사전학습시켜서 fine-..

• format_list_bulleted NLP
• · 2024. 4. 7.
• textsms

text-to-text format 방법론 간단하게

1. motivation GPT-2로 closed question answering의 가능성을 본 이후로 등장한 방법론 closed question answering는 generation MRC와 유사하다. 단, 둘의 차이라면 전자는 지문없이 질문만 들어간다 closed question answering도 BART같은 seq-to-seq transformer기반의 모델을 사용함 text-to-text format은 그 이름처럼 모든 종류의 NLP task를 text에서 text로 mapping하는 방식으로 치환하겠다는 방법론 input text 앞에 task에 대한 설명을 붙여준다. 그러면 모델이 처음 보는 task더라도 가지고 있는 언어 지식만으로 task를 이해하여 수행한 output을 출력할 수 있..

• format_list_bulleted NLP
• · 2024. 4. 4.
• textsms

query와 passage의 similarity search를 근사(approximation)시키는 법

1. scalar quantization 벡터를 압축하여 하나의 벡터가 원래보다 더 적은 용량을 차지하도록 compression하는 기술 당연하지만 압축량이 커질수록 요구되는 메모리공간은 작아지지만 그만큼 정보손실도 커진다 일반적으로 벡터 내 수치는 float32로 저장함 SQ8은 4byte float32를 1byte int8이나 float8???로 저장하는 방식(quantization이면 int8이 더 어울리긴해) 그러면서 한 값의 저장용량을 1/4로 줄인다 강의에서는 4byte float32를 1byte unsigned int8로 압축한다고 나와있네 각 수치가 4byte에서 1byte로 줄어들면서 크기가 줄어든것을 볼수 있음 보통 inner product에서 float32까지 필요한 경우는 많지 않아..

• format_list_bulleted Machine Reading Comprehension
• · 2024. 3. 21.
• textsms

질문과 관련있는 지문을 찾는 Maximum Inner Product Search

1. Motivation dense embedding을 이용한 retrieve의 원리는 굉장히 간단한데 passage를 미리 embedding해놓고 question이 들어오면 embedding을 한 뒤 미리 embedding한 passage들과 similarity score를 전부 계산한 다음 가장 높은 score를 가진 passage를 출력 similarity score는 nearest neighbor에서 distance가 가까울수록 높은 점수를 부여하는 방식을 생각해볼 수 있고 inner product가 높을수록 높은 점수를 부여하는 방식을 생각해볼 수 있다. 사람이 이해하기에 nearest search가 위치 거리측면에서 생각하면서 이해하기 쉽다 근데 학습이나 효율성측면에서는 nearest neig..

• format_list_bulleted Machine Reading Comprehension
• · 2024. 3. 20.
• textsms

비전공자도 이해할 수 있는 AI지식 -진정한 이해는 무엇인가-

1. 인간을 흉내낼 수 있다면 생각할 수 있는 것이다 우리 말을 이해하는 것처럼 보였던 컴퓨터가 사실은 언어를 숫자로 바꿔 확률을 계산할 뿐이란 점에 실망한 분도 있을 것 같습니다. 그렇다면 과연 이해한다는 것은 무엇을 의미할까요? 앨런 튜링은 에서 '기계는 생각할 수 있는가?'라는 담대한 질문을 던지면서 생각의 정의를 내리는 어려운 과정을 탐구하는 대신에 인간이 생각한다고 여기는 행동을 기계가 흉내낼 수 있다면 이를 '생각한다'라고 판정하자고 제안합니다. 누군가가 의식하고 있는지를 알아내는 유일한 방법은 그 사람의 행동을 내 행동과 비교하는 것 뿐인데 기계라고 굳이 다르게 취급할 이유가 없다는 것입니다. 이 발상을 바탕으로 제안한 것이 바로 그 유명한 '이미테이션 게임', 우리말로 하면 '흉내 놀이'입..

• format_list_bulleted 비전공자도 이해할 수 있는 AI지식
• · 2023. 1. 1.
• textsms