현대 NLP 모델의 근간이 되는 BERT의 기본적인 특징

1. pre-trained model은 왜 의미있을까? pre-training과정에서 수행한 up-stream task의 data는 별도의 label이 필요하지 않은 데이터라는 것이 하나의 강점이다. ------------------------------------------------------------------------------------------------------------------------------- 다음 단어를 맞추는 것이 label이 없다고? GPT-1이 수행한 다음 단어를 예측하는 pre-training task는 input sequence와 output sequence가 동일한 task이다. 쉽게 말해 input sequence를 차례대로 읽어들여 input sequenc..

• format_list_bulleted NLP
• · 2022. 10. 24.
• textsms

검색엔진의 역사를 바꾼 pagerank 알고리즘 파헤치기

1. 그래프로 표현하는 웹 웹은 웹페이지와 하이퍼링크로 포함된 거대한 방향성 그래프다 웹페이지를 node, 하이퍼링크를 다음 웹페이지를 향하는 link로 볼 수 있다. 물론 웹페이지는 하이퍼링크와 무관한 keyword정보를 포함한다 웹페이지의 하이퍼링크를 클릭하여 링크가 가리키는 다음 웹페이지로 이동할 수 있다 2. pagerank는 왜 등장했을까 2-1) 거대한 디렉토리 수십억에서 수백억개가 있을 것이라고 추측하는 웹페이지에서 원하는 정보를 어떻게 찾을 수 있을까? 먼저 전 세계에 존재하는 모든 웹을 카테고리로 구분하여 하나의 디렉토리로 저장했다. 97년도의 네이버 모습으로 카테고리로 웹을 저장했다는 것이 보인다 시간이 흐르면서 카테고리 수와 깊이는 무한정 증가할 것이고 심지어 카테고리 구분은 모호해지..

• format_list_bulleted Graph
• · 2022. 10. 23.
• textsms

instance segmentation과 mask R-CNN알아보기

1. instance segmentation의 기본 그 동안 배운 object detection, semantic segmentation은 2018년 이후 연구를 잘 안하는 추세 instance segmentation과 panoptic segmentation으로 고도화되었기 때문에 semantic segmentation의 한계점으로 서로 다른 물체더라도 같은 class에 속하면 같은 색으로 구분한다는 것이었다. 이것을 극복하고 서로 다른 물체라면 같은 class더라도 다른 색으로 구분하는 기술이 instance segmentation이다. 서로 다른 물체라면 구분한다는 점에서 응용가능성이 더 높다 파이썬의 instance개념처럼 서로 다른 instance를 구분하겠다는 것이다. instance segme..

• format_list_bulleted Computer Vision
• · 2022. 10. 21.
• textsms

괴물 언어모델 GPT-1에서 더 강력해진 GPT-2 파헤치기

1. 기본적인 특징 GPT-1에서 발전된 형태 ‘Just a really big transformer’ 특별한 구조 변경없이 transformer self attention block을 더욱 쌓아올려 모델 크기를 키웠다 pre-train task로 주어진 text의 다음 단어를 맞추는 language modeling “language model은 model의 구조나 parameter를 변경하지 않고도 zero shot setting에서 downstream task를 수행할 수 있다.” 정확히 말하면 훈련 시 다양한 스킬이나 패턴을 인식하는 방법을 학습함으로써 추론 시 downstream task에 빠르게 적응하도록 하는 방법이다. GPT-2에서는 이러한 방법을 "in-context learning" 방식..

• format_list_bulleted NLP
• · 2022. 10. 21.
• textsms

NLP의 transfer learning 기본 개념(zero shot, one shot, few shot) 익히기

1. transfer learning transfer learning은 특정한 task를 학습한 모델을 다른 원하는 task에 이용하는 모델링 방식을 말한다. 이전에 미리 학습한(pre-training) 모델이 가지고 있는 지식이 원하는 task에서 유용하게 활용될 수 있을 것이라는 기대가 있어서 그렇다. 실제로 사람도 이미 가지고 있는 지식을 바탕으로 전혀 모르는 새로운 학습에 경험이나 노하우 등을 유용하게 써먹잖아 pre-train된 모델을 그대로 사용하거나 목적 task를 위한 작은 layer를 추가하여 학습하는 방식이 바로 transfer learning이다. 2. pre-training for up-stream task pre-training 과정에서 수행하는 task를 특별히 up-stream..

• format_list_bulleted NLP
• · 2022. 10. 20.
• textsms

NLP의 최신 트렌드 - GPT-1 파헤치기

1. NLP의 최신 트렌드 transformer와 self-attention block은 NLP분야에서 범용적인 encoder,decoder로 역할을 수행하며 좋은 성능을 보였다. 처음 제안된 transformer의 self-attention block은 6개였는데 이제는 12개,24개,... 그 이상으로 더욱 쌓아올려 model을 구성한다. 이렇게 쌓은 모델을 self-supervised learning라는 framework하에 대규모의 train data로 pre-train하여 다양한 NLP task등에 transfer learning로 fine-tuning하는 형태로 활용하는 거대한 모형 BERT,GPT,ELECTRA,ALBERT 등이 등장했다. 이런 거대한 모형의 self-supervised le..

• format_list_bulleted NLP
• · 2022. 6. 28.
• textsms