1. 사람들은 최신 지식을 원한다 기술은 항상 발전하고 과거의 지식은 새로운 지식으로 끊임없이 업데이트됩니다 대개는 새로운 정보가 옛날 정보보다 더 좋죠. 최신 문서에 좀 더 높은 점수를 주는 건 어찌 보면 당연합니다 특히 뉴스 같은 경우에는 최신 문서의 강점이 극대화됩니다. 누구도 오래된 뉴스를 보고 싶진 않을테니깐요 '갤럭시 노트 신제품'같은 쿼리가 좋은 예입니다. 여러분이 검색엔진에서 찾고 싶은 문서는 갤럭시 노트의 최신 기종 소식일 것입니다. 4~5년 전에 출시한 구버전 갤럭시 노트 소식이 상위에 올라오는걸 원치는 않겠죠 그래서 일반적으로 최신 문서일수록 점수 경쟁이 치열합니다. 반면 오래된 문서들은 비교적 점수 차이가 적죠. 1주일 이내에 발행된 문서끼리는 하루 차이로도 점수 차이가 많이 나지만..
1. 책에서 원하는 단어가 나오는 부분을 찾는 방법 이제 문서를 수집했으니 '색인'을 만들 차례입니다. 색인은 과연 어떤 형태로 구성될까요? 당장 여러분의 책장에서 아무 책이나 꺼내 차례에서 '색인' 혹은 '찾아보기' 페이지를 열어보세요 특정 단어나 구절에 페이지 번호를 정리해 찾아보기 쉽게 만들어놓았죠 책에서 '갤럭시 노트'라는 단어가 등장하는 페이지를 찾는다고 가정해보죠. 첫 페이지부터 해당 항목을 찾을 때까지 계속 뒤져서 원하는 페이지를 찾기가 너무 힘듭니다. 하루 종일 찾아야할지도 모르죠. 이럴 때 참조하는 것이 바로 색인입니다. 책에서 원하는 내용을 빨리 찾기 위해서는 색인부터 펼쳐 위치를 알아내면 됩니다. 전체 과정은... 1. 책의 맨 뒤에 있는 색인을 펼친다. 2. 가나다 순으로 정리된 색..
1. 300조개가 넘는 문서를 수집하다 구글은 엄청난 수익뿐만 아니라 엄청난 문서를 색인하고 있는 것으로도 유명합니다. 검색엔진이 인터넷에 있는 문서를 수집하여 검색에 적합하도록 보관하고 있는 것을 색인(index)이라고 합니다. 구글은 2013년에만 무려 30조 개의 문서 색인을 마쳤습니다. 불과 3년 후인 2016년에는 100조 개가 더 늘어났다고 밝혔습니다. 불과 3년만에 3배의 성과를 올렸습니다. 모두 합해 2016년에만 총 130조개의 문서 색인을 갖췄죠. 이후 더 공개하지는 않았지만, 아마 2020년 기준으로 300조 개가 훨씬 넘는 문서를 색인하고 있을 것으로 추정됩니다. 이렇게 많은 문서를 대체 어디에 보관하고 있을까요? 구글은 엄청난 양의 문서를 고가의 컴퓨터 몇대에 저장하는 게 아니라,..
1. 검색엔진의 등장 우리는 매일 인터넷 검색을 하며 생활합니다. 궁금한 게 있으면 언제든, 무엇이든 검색창에 물어보죠 하루에도 몇번씩 검색 서비스에 쿼리를 날립니다. 이제 검색이 없는 세상은 상상할 수가 없습니다. "쇠퇴해가는 기억력을 보좌하기 위하여, 나는 뇌수의 분실(작게 나뉜 방,공간)을 내지 않을 수 없었던 것이다" 1930년대를 대표하는 한국문학가 이하윤의 수필 에 등장하는 표현입니다. 당시에는 메모장이 뇌수의 분실 역할을 한 거죠. 그리고 시간이 지나 지금은 단연 스마트폰이 뇌수의 분실 역할을 하고 있습니다. 무엇보다 지금의 분실은 단순히 정보를 저장하는 수준을 넘어섭니다. 필요한 정보를 곧바로 찾아주기도 하죠. 그 역할을 검색 서비스가 담당합니다. 검색은 현대인의 분실에 꼭 필요한 정보를 ..
1. 다수를 살리기 위해 소수를 희생해야하는가 자율주행이 해결해야할 문제는 기술만이 아닙니다. 기술적으로 완벽한 자율주행이 구현되었다고 해도, 윤리적인 판단을 요하는 상황에 처한다면, 어떻게 해야할까요? MIT는 자율주행차가 사고를 낼 수밖에 없는 상황을 도덕 기계(Moral Machine)로 명명하고, 온라인으로 공개 설문조사를 진행했습니다 연구자들은 다양한 시나리오를 설정했는데, 비교 대상의 수가 다른 경우, 대상이 동물인 경우, 연령이나 성별이 다른 경우 등이었죠. 이 문제는 광차 문제(trolley problem)의 자율주행차 버전이었습니다. 광차 문제는 1960년대 유명한 윤리 사고 실험이죠. 제동장치가 고장 나 정지할 수 없는 광차(Trolley)가 선로를 따라 이동하고 있습니다. 선로에는 5..
1. 완전한 자율주행은 정말 가능한가 구글의 자율주행차 회사인 웨이모는 2020년에만 우리 돈 3조 6000억원에 달하는 돈을 투자받았습니다. 2021년 상반기에는 여기에 또 2조 8000억원을 추가로 조달받았죠. 그럼에도 불구하고 웨이모의 상용화 시점은 여전히 오리무중입니다. 2022년 현재 도로를 주행하는 모든 완전 자율주행차의 수도 여전히 0대죠. 왜 이럴까요? 요즘 많은 가정에서 사용하는 스마트 스피커와 비교해보면 카카오미니나 SKT NUGU가 100번의 발화중 99번을 제대로 알아듣는다면 정말로 훌륭하다고 여길 수 있습니다. 그런데 100개의 정지 신호중 99개를 제대로 인식하는 자율주행차가 있다고 생각해봅시다. 마찬가지로 박수 쳐줄 수 있나요? 자율주행 기능에는 엄격할 수밖에 없습니다. 단 한..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
