1. 책에서 원하는 단어가 나오는 부분을 찾는 방법 이제 문서를 수집했으니 '색인'을 만들 차례입니다. 색인은 과연 어떤 형태로 구성될까요? 당장 여러분의 책장에서 아무 책이나 꺼내 차례에서 '색인' 혹은 '찾아보기' 페이지를 열어보세요 특정 단어나 구절에 페이지 번호를 정리해 찾아보기 쉽게 만들어놓았죠 책에서 '갤럭시 노트'라는 단어가 등장하는 페이지를 찾는다고 가정해보죠. 첫 페이지부터 해당 항목을 찾을 때까지 계속 뒤져서 원하는 페이지를 찾기가 너무 힘듭니다. 하루 종일 찾아야할지도 모르죠. 이럴 때 참조하는 것이 바로 색인입니다. 책에서 원하는 내용을 빨리 찾기 위해서는 색인부터 펼쳐 위치를 알아내면 됩니다. 전체 과정은... 1. 책의 맨 뒤에 있는 색인을 펼친다. 2. 가나다 순으로 정리된 색..
1. instance segmentation의 기본 그 동안 배운 object detection, semantic segmentation은 2018년 이후 연구를 잘 안하는 추세 instance segmentation과 panoptic segmentation으로 고도화되었기 때문에 semantic segmentation의 한계점으로 서로 다른 물체더라도 같은 class에 속하면 같은 색으로 구분한다는 것이었다. 이것을 극복하고 서로 다른 물체라면 같은 class더라도 다른 색으로 구분하는 기술이 instance segmentation이다. 서로 다른 물체라면 구분한다는 점에서 응용가능성이 더 높다 파이썬의 instance개념처럼 서로 다른 instance를 구분하겠다는 것이다. instance segme..
1. 기본적인 특징 GPT-1에서 발전된 형태 ‘Just a really big transformer’ 특별한 구조 변경없이 transformer self attention block을 더욱 쌓아올려 모델 크기를 키웠다 pre-train task로 주어진 text의 다음 단어를 맞추는 language modeling “language model은 model의 구조나 parameter를 변경하지 않고도 zero shot setting에서 downstream task를 수행할 수 있다.” 정확히 말하면 훈련 시 다양한 스킬이나 패턴을 인식하는 방법을 학습함으로써 추론 시 downstream task에 빠르게 적응하도록 하는 방법이다. GPT-2에서는 이러한 방법을 "in-context learning" 방식..
1. 300조개가 넘는 문서를 수집하다 구글은 엄청난 수익뿐만 아니라 엄청난 문서를 색인하고 있는 것으로도 유명합니다. 검색엔진이 인터넷에 있는 문서를 수집하여 검색에 적합하도록 보관하고 있는 것을 색인(index)이라고 합니다. 구글은 2013년에만 무려 30조 개의 문서 색인을 마쳤습니다. 불과 3년 후인 2016년에는 100조 개가 더 늘어났다고 밝혔습니다. 불과 3년만에 3배의 성과를 올렸습니다. 모두 합해 2016년에만 총 130조개의 문서 색인을 갖췄죠. 이후 더 공개하지는 않았지만, 아마 2020년 기준으로 300조 개가 훨씬 넘는 문서를 색인하고 있을 것으로 추정됩니다. 이렇게 많은 문서를 대체 어디에 보관하고 있을까요? 구글은 엄청난 양의 문서를 고가의 컴퓨터 몇대에 저장하는 게 아니라,..
1. transfer learning transfer learning은 특정한 task를 학습한 모델을 다른 원하는 task에 이용하는 모델링 방식을 말한다. 이전에 미리 학습한(pre-training) 모델이 가지고 있는 지식이 원하는 task에서 유용하게 활용될 수 있을 것이라는 기대가 있어서 그렇다. 실제로 사람도 이미 가지고 있는 지식을 바탕으로 전혀 모르는 새로운 학습에 경험이나 노하우 등을 유용하게 써먹잖아 pre-train된 모델을 그대로 사용하거나 목적 task를 위한 작은 layer를 추가하여 학습하는 방식이 바로 transfer learning이다. 2. pre-training for up-stream task pre-training 과정에서 수행하는 task를 특별히 up-stream..
1. 다수를 살리기 위해 소수를 희생해야하는가 자율주행이 해결해야할 문제는 기술만이 아닙니다. 기술적으로 완벽한 자율주행이 구현되었다고 해도, 윤리적인 판단을 요하는 상황에 처한다면, 어떻게 해야할까요? MIT는 자율주행차가 사고를 낼 수밖에 없는 상황을 도덕 기계(Moral Machine)로 명명하고, 온라인으로 공개 설문조사를 진행했습니다 연구자들은 다양한 시나리오를 설정했는데, 비교 대상의 수가 다른 경우, 대상이 동물인 경우, 연령이나 성별이 다른 경우 등이었죠. 이 문제는 광차 문제(trolley problem)의 자율주행차 버전이었습니다. 광차 문제는 1960년대 유명한 윤리 사고 실험이죠. 제동장치가 고장 나 정지할 수 없는 광차(Trolley)가 선로를 따라 이동하고 있습니다. 선로에는 5..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
