1. 300조개가 넘는 문서를 수집하다 구글은 엄청난 수익뿐만 아니라 엄청난 문서를 색인하고 있는 것으로도 유명합니다. 검색엔진이 인터넷에 있는 문서를 수집하여 검색에 적합하도록 보관하고 있는 것을 색인(index)이라고 합니다. 구글은 2013년에만 무려 30조 개의 문서 색인을 마쳤습니다. 불과 3년 후인 2016년에는 100조 개가 더 늘어났다고 밝혔습니다. 불과 3년만에 3배의 성과를 올렸습니다. 모두 합해 2016년에만 총 130조개의 문서 색인을 갖췄죠. 이후 더 공개하지는 않았지만, 아마 2020년 기준으로 300조 개가 훨씬 넘는 문서를 색인하고 있을 것으로 추정됩니다. 이렇게 많은 문서를 대체 어디에 보관하고 있을까요? 구글은 엄청난 양의 문서를 고가의 컴퓨터 몇대에 저장하는 게 아니라,..
1. 검색엔진의 등장 우리는 매일 인터넷 검색을 하며 생활합니다. 궁금한 게 있으면 언제든, 무엇이든 검색창에 물어보죠 하루에도 몇번씩 검색 서비스에 쿼리를 날립니다. 이제 검색이 없는 세상은 상상할 수가 없습니다. "쇠퇴해가는 기억력을 보좌하기 위하여, 나는 뇌수의 분실(작게 나뉜 방,공간)을 내지 않을 수 없었던 것이다" 1930년대를 대표하는 한국문학가 이하윤의 수필 에 등장하는 표현입니다. 당시에는 메모장이 뇌수의 분실 역할을 한 거죠. 그리고 시간이 지나 지금은 단연 스마트폰이 뇌수의 분실 역할을 하고 있습니다. 무엇보다 지금의 분실은 단순히 정보를 저장하는 수준을 넘어섭니다. 필요한 정보를 곧바로 찾아주기도 하죠. 그 역할을 검색 서비스가 담당합니다. 검색은 현대인의 분실에 꼭 필요한 정보를 ..
1. 다수를 살리기 위해 소수를 희생해야하는가 자율주행이 해결해야할 문제는 기술만이 아닙니다. 기술적으로 완벽한 자율주행이 구현되었다고 해도, 윤리적인 판단을 요하는 상황에 처한다면, 어떻게 해야할까요? MIT는 자율주행차가 사고를 낼 수밖에 없는 상황을 도덕 기계(Moral Machine)로 명명하고, 온라인으로 공개 설문조사를 진행했습니다 연구자들은 다양한 시나리오를 설정했는데, 비교 대상의 수가 다른 경우, 대상이 동물인 경우, 연령이나 성별이 다른 경우 등이었죠. 이 문제는 광차 문제(trolley problem)의 자율주행차 버전이었습니다. 광차 문제는 1960년대 유명한 윤리 사고 실험이죠. 제동장치가 고장 나 정지할 수 없는 광차(Trolley)가 선로를 따라 이동하고 있습니다. 선로에는 5..
1. 완전한 자율주행은 정말 가능한가 구글의 자율주행차 회사인 웨이모는 2020년에만 우리 돈 3조 6000억원에 달하는 돈을 투자받았습니다. 2021년 상반기에는 여기에 또 2조 8000억원을 추가로 조달받았죠. 그럼에도 불구하고 웨이모의 상용화 시점은 여전히 오리무중입니다. 2022년 현재 도로를 주행하는 모든 완전 자율주행차의 수도 여전히 0대죠. 왜 이럴까요? 요즘 많은 가정에서 사용하는 스마트 스피커와 비교해보면 카카오미니나 SKT NUGU가 100번의 발화중 99번을 제대로 알아듣는다면 정말로 훌륭하다고 여길 수 있습니다. 그런데 100개의 정지 신호중 99개를 제대로 인식하는 자율주행차가 있다고 생각해봅시다. 마찬가지로 박수 쳐줄 수 있나요? 자율주행 기능에는 엄격할 수밖에 없습니다. 단 한..
1. 정교한 데이터가 중요하다 카메라를 통한 사물 인식 기술은 거의 완성 단계에 있습니다. 성능을 더욱 높이기 위해서는 정교한 데이터가 훨씬 더 중요한 시점이 되었죠. 정확한 인식을 위해서는 수많은 주행 데이터에서 정교하게 라벨링된 학습 데이터가 필요합니다. 애초에 데이터가 정교하지 않다면 아무리 훌륭한 기술을 써도 좋은 결과를 내기는 어렵습니다. 그림처럼 차량이 직접 보내온 주행 데이터에서 장애물을 라벨링합니다. 이를 학습 데이터로 활용하여 모델을 정교하게 개선해나가죠. 라벨링은 전문적으로 교육받은 라벨러가 일정한 기준에 따라 합니다. 저마다 기준이 다르다면 아무리 훌륭한 딥러닝이라도 제대로 된 성능을 발휘할 수 없습니다. 일정한 기준에 맞춰 정교하게 라벨링하여 나중에 모델이 저마다 다르게 예측하는 일..
1. 클러스터링, 도로 사진을 판별한 최초의 기법 스탠리가 우승한 2005년만 해도 카메라로 측정한 도로 사진을 제대로 판별할 수 있는 기술은 턱없이 부족했습니다. 그래서 당시 스탠리가 택한 방법은 머신러닝 기법 중 하나인 클러스터링이었습니다. 클러스터링이란, 비슷한 개체끼리 하나의 군집으로 묶는 기법을 말하는데, 당시 스탠리는 도로 사진을 하나의 군집으로 처리하고 비슷한 색상의 사진을 같은 도로로 판별하는 기법을 사용했습니다. 즉 주행 중인 바닥면의 사진을 카메라로 촬영하고 이 색상과 비슷한 색상이라면 이곳을 도로로 간주하는 것이죠. 만약 사막을 달리는 중이라면, 회색과 갈색이 섞인 색상의 묶음을 도로로 보는 겁니다. 이렇게 스탠리는 지속적으로 사진을 촬영하면서 색상을 비교했습니다. 여전히 회색과 갈색..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
