1. 읽지 않아도 두 문서가 비슷하다는 것을 알 수 있는 방법 최신 문서도, 품질이 좋은 문서도 쿼리와 상관없이 판별할 수 있어서, 페이지 랭크는 품질 지표를 사용자의 검색 여부와 상관없이 주기적으로 계산하고 미리 저장해두기도 합니다. 그러면 매번 계산하지 않아도 되기 때문에 검색 속도를 높일 수 있죠. 이제 살펴볼 유사도 점수는 쿼리와 직접 관련이 있습니다. 쿼리에 따라 실시간으로 점수를 계산해야하기 때문에 미리 계산해두기도 어렵습니다. 그렇지만 매우 중요합니다. 특히 쿼리와 그에 따른 문서가 얼마나 유사한지는 사실상 검색엔진의 핵심이라고 할 수 있죠. 누구나 내가 입력한 쿼리에 딱 맞는 결과를 원하니까요. 그렇다면 어떻게 쿼리에 딱 맞는 문서를 불러올 수 있을까요? 먼저 사용자가 입력한 쿼리가 문서 ..
1. introduction A Lite BERT, 가벼워진 BERT 그동안 NLP 모델들은 대규모의 parameter를 가지는 괴물 모델로 발전해왔다. 그것이 정말로 좋은가? 많은 경우에 메모리 사용량은 한정되어있고 대규모 모델은 학습속도가 매우 느리며 시간도 엄청 필요하다. 특별한 방법으로 성능의 큰 하락없이, 오히려 더 좋아지면서 model의 size를 줄이고 학습시간을 빠르게하는 방법을 제시했다. 2. Factorized embedding parameterization self-attention block은 residual connection을 수행하는데 input과 output을 더해야한다는 점이 특징이다. 이것은 input과 output의 size가 동일해야 가능하다. 이 output hidd..
1. instance segmentation의 기본 그 동안 배운 object detection, semantic segmentation은 2018년 이후 연구를 잘 안하는 추세 instance segmentation과 panoptic segmentation으로 고도화되었기 때문에 semantic segmentation의 한계점으로 서로 다른 물체더라도 같은 class에 속하면 같은 색으로 구분한다는 것이었다. 이것을 극복하고 서로 다른 물체라면 같은 class더라도 다른 색으로 구분하는 기술이 instance segmentation이다. 서로 다른 물체라면 구분한다는 점에서 응용가능성이 더 높다 파이썬의 instance개념처럼 서로 다른 instance를 구분하겠다는 것이다. instance segme..
1. 기본적인 특징 GPT-1에서 발전된 형태 ‘Just a really big transformer’ 특별한 구조 변경없이 transformer self attention block을 더욱 쌓아올려 모델 크기를 키웠다 pre-train task로 주어진 text의 다음 단어를 맞추는 language modeling “language model은 model의 구조나 parameter를 변경하지 않고도 zero shot setting에서 downstream task를 수행할 수 있다.” 정확히 말하면 훈련 시 다양한 스킬이나 패턴을 인식하는 방법을 학습함으로써 추론 시 downstream task에 빠르게 적응하도록 하는 방법이다. GPT-2에서는 이러한 방법을 "in-context learning" 방식..
1. 검색엔진의 등장 우리는 매일 인터넷 검색을 하며 생활합니다. 궁금한 게 있으면 언제든, 무엇이든 검색창에 물어보죠 하루에도 몇번씩 검색 서비스에 쿼리를 날립니다. 이제 검색이 없는 세상은 상상할 수가 없습니다. "쇠퇴해가는 기억력을 보좌하기 위하여, 나는 뇌수의 분실(작게 나뉜 방,공간)을 내지 않을 수 없었던 것이다" 1930년대를 대표하는 한국문학가 이하윤의 수필 에 등장하는 표현입니다. 당시에는 메모장이 뇌수의 분실 역할을 한 거죠. 그리고 시간이 지나 지금은 단연 스마트폰이 뇌수의 분실 역할을 하고 있습니다. 무엇보다 지금의 분실은 단순히 정보를 저장하는 수준을 넘어섭니다. 필요한 정보를 곧바로 찾아주기도 하죠. 그 역할을 검색 서비스가 담당합니다. 검색은 현대인의 분실에 꼭 필요한 정보를 ..
1. 완전한 자율주행은 정말 가능한가 구글의 자율주행차 회사인 웨이모는 2020년에만 우리 돈 3조 6000억원에 달하는 돈을 투자받았습니다. 2021년 상반기에는 여기에 또 2조 8000억원을 추가로 조달받았죠. 그럼에도 불구하고 웨이모의 상용화 시점은 여전히 오리무중입니다. 2022년 현재 도로를 주행하는 모든 완전 자율주행차의 수도 여전히 0대죠. 왜 이럴까요? 요즘 많은 가정에서 사용하는 스마트 스피커와 비교해보면 카카오미니나 SKT NUGU가 100번의 발화중 99번을 제대로 알아듣는다면 정말로 훌륭하다고 여길 수 있습니다. 그런데 100개의 정지 신호중 99개를 제대로 인식하는 자율주행차가 있다고 생각해봅시다. 마찬가지로 박수 쳐줄 수 있나요? 자율주행 기능에는 엄격할 수밖에 없습니다. 단 한..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
