1. 300조개가 넘는 문서를 수집하다 구글은 엄청난 수익뿐만 아니라 엄청난 문서를 색인하고 있는 것으로도 유명합니다. 검색엔진이 인터넷에 있는 문서를 수집하여 검색에 적합하도록 보관하고 있는 것을 색인(index)이라고 합니다. 구글은 2013년에만 무려 30조 개의 문서 색인을 마쳤습니다. 불과 3년 후인 2016년에는 100조 개가 더 늘어났다고 밝혔습니다. 불과 3년만에 3배의 성과를 올렸습니다. 모두 합해 2016년에만 총 130조개의 문서 색인을 갖췄죠. 이후 더 공개하지는 않았지만, 아마 2020년 기준으로 300조 개가 훨씬 넘는 문서를 색인하고 있을 것으로 추정됩니다. 이렇게 많은 문서를 대체 어디에 보관하고 있을까요? 구글은 엄청난 양의 문서를 고가의 컴퓨터 몇대에 저장하는 게 아니라,..
1. 검색엔진의 등장 우리는 매일 인터넷 검색을 하며 생활합니다. 궁금한 게 있으면 언제든, 무엇이든 검색창에 물어보죠 하루에도 몇번씩 검색 서비스에 쿼리를 날립니다. 이제 검색이 없는 세상은 상상할 수가 없습니다. "쇠퇴해가는 기억력을 보좌하기 위하여, 나는 뇌수의 분실(작게 나뉜 방,공간)을 내지 않을 수 없었던 것이다" 1930년대를 대표하는 한국문학가 이하윤의 수필 에 등장하는 표현입니다. 당시에는 메모장이 뇌수의 분실 역할을 한 거죠. 그리고 시간이 지나 지금은 단연 스마트폰이 뇌수의 분실 역할을 하고 있습니다. 무엇보다 지금의 분실은 단순히 정보를 저장하는 수준을 넘어섭니다. 필요한 정보를 곧바로 찾아주기도 하죠. 그 역할을 검색 서비스가 담당합니다. 검색은 현대인의 분실에 꼭 필요한 정보를 ..
1. Mastering the game of Go with deep neural networks and tree search "트리 탐색과 딥러닝으로 바둑을 마스터하다" 바둑은 거대한 탐색 공간과 바둑판의 이동이나, 국면을 판단하기 어렵기 때문에 인공지능에게는 가장 어려운 과제로 여겨져왔다. 여기서 우리는 value network를 사용하여 바둑의 국면을 판단하고, policy network를 이용해 다음 수를 선택하는 새로운 접근법을 소개한다. 이러한 deep neural network는 인간 전문가 게임에 의한 지도학습의 새로운 조합에 의해 학습되고 스스로 대국한 게임으로 배우는 강화학습에 의해 학습된다. 어떠한 역추적 없이(lookahead search) 신경망은 자기 스스로의 수천번의 random..
1. 자율주행의 시작 2004년 3월 캘리포니아 남동부 모하비사막에 수십대의 자동차가 늘어섰습니다. 240km를 질주하는 다르파 그랜드 챌린지에 참가하기 위해서였습니다. 그런데 출발부터 심상치가 않았습니다. 차량 2대는 출발선에 서보지도 못하고 철수해야했고, 1대는 출발과 동시에 거꾸로 뒤집혔습니다. 희한하게 생긴 자동차도 많았습니다. 게임에서나 볼 법한 버기카, 방금 화성에서 돌아온 듯한 큐리오시티를 닮은 탐사차도 있었습니다. 마치 영화 에 등장하는 차량들이 모여있는 것 같았습니다. 심지어 오프로드용 오토바이도 있었습니다. 그런데 이 오토바이는 상단에 AMD 서버를 장착하고, 내부에는 자이로스코프를 장착해 운전자 도움 없이도 오토바이가 스스로 균형을 잡을 수 있도록 설계되어 있었습니다. 이 오토바이는 ..
1. 데이터는 인공지능의 원유 2012년부터 떠오르는 10대 기술로 첫번째를 빅데이터로 선정할 정도로 이미 가장 중요한 기술로 선정되었는데, 빅데이터가 도대체 무엇이냐?라고 물으면 대답하기 쉽지 않았다 단순히 많은 데이터를 모아두는 것이 왜 바이오, 화학, 식량보다 중요한 기술이냐는 것이다. 당시에는 그만큼 데이터를 제대로 활용할 수 있는 기술이 부족했다. 1907년 프랜시스 골턴이 에 논문 한 편을 제출하는데.. 논문 내용 중에 커다란 황소 한마리를 도축하고 고기 중량을 알아맞히는 이벤트를 진행했다고 한다. 관객들은 6펜스를 내고 티켓에 이름, 주소, 추정 무게등을 기입하여 제출했는데 800여명이 참여하였고 골턴은 이들의 중앙값을 구해보았다고 한다 중앙값은 547kg이었는데 실제로 도축한 고기의 무게는..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
