1. transfer learning transfer learning은 특정한 task를 학습한 모델을 다른 원하는 task에 이용하는 모델링 방식을 말한다. 이전에 미리 학습한(pre-training) 모델이 가지고 있는 지식이 원하는 task에서 유용하게 활용될 수 있을 것이라는 기대가 있어서 그렇다. 실제로 사람도 이미 가지고 있는 지식을 바탕으로 전혀 모르는 새로운 학습에 경험이나 노하우 등을 유용하게 써먹잖아 pre-train된 모델을 그대로 사용하거나 목적 task를 위한 작은 layer를 추가하여 학습하는 방식이 바로 transfer learning이다. 2. pre-training for up-stream task pre-training 과정에서 수행하는 task를 특별히 up-stream..
1. 정교한 데이터가 중요하다 카메라를 통한 사물 인식 기술은 거의 완성 단계에 있습니다. 성능을 더욱 높이기 위해서는 정교한 데이터가 훨씬 더 중요한 시점이 되었죠. 정확한 인식을 위해서는 수많은 주행 데이터에서 정교하게 라벨링된 학습 데이터가 필요합니다. 애초에 데이터가 정교하지 않다면 아무리 훌륭한 기술을 써도 좋은 결과를 내기는 어렵습니다. 그림처럼 차량이 직접 보내온 주행 데이터에서 장애물을 라벨링합니다. 이를 학습 데이터로 활용하여 모델을 정교하게 개선해나가죠. 라벨링은 전문적으로 교육받은 라벨러가 일정한 기준에 따라 합니다. 저마다 기준이 다르다면 아무리 훌륭한 딥러닝이라도 제대로 된 성능을 발휘할 수 없습니다. 일정한 기준에 맞춰 정교하게 라벨링하여 나중에 모델이 저마다 다르게 예측하는 일..
1. 딥블루는 어떻게 세계 체스 챔피언이 되었는가 1997년 인간과 컴퓨터의 자존심을 건 체스 대결이 펼쳐졌다. 가리 카스파로프는 1984년 만 20세 최연소 세계 체스 챔피언으로 등극한 이해 줄곧 세계 1위를 유지하였고 적어도 체스로 그를 이길 수 있었던 인간은 존재하지 않았다 카스파로프를 상대할 컴퓨터 대표 딥 블루(Deep blue)는 IBM의 슈퍼컴퓨터인데 이전에도 몇 차례 체스 시합에 도전했지만 번번이 무릎을 꿇었다. 바로 직전 1996년에도 안타깝게 4:2로 패했다. 이후 딥블루는 보다 정교한 체스머신이 되어, 내부에서도 디퍼 블루라는 애칭으로 부를 정도로 더욱 강력해져서 돌아왔다. 그리고 이날 대회에서 딥블루가 마침내 카스파로프를 꺾고 체스 세계 챔피언에 등극하였다. 컴퓨터가 정규 시합에서 ..
1. 딥러닝의 숨은 공신, 오픈소스(open source) 오픈소스(open source)는 프로그램의 소스코드를 공개하는 것이다. 소스코드는 상당히 중요한데 마음대로 공유한다니 말이 되는걸까? 특히 상업용 프로그램의 소스코드를 공개하는 것은 마치 유명 맛집이 자신만의 음식 레시피를 공개하는 것과 다르지 않다. 맛집이 레시피를 공개한다면 매출에도 영향이 있을텐데 왜 그런 선택을 하는 것일까? 공개를 통해 영향력을 더욱 확고히 하기 위함이다. 무엇보다 공개를 한다는 것은 실력에 자신이 있는 사람이라는 뜻이다. 어설픈 실력으로는 공개를 하고 싶어도 할 수가 없다 요리연구가 백종원이 레시피를 공개하는 것은 본인의 레시피에 자신이 있다는 것이고 실제로 사람들은 백종원의 레시피를 보면서 그에게 신뢰를 갖게 된다...
1. 무어의 법칙 -시간이 지나면서 반도체의 성능은 계속 증가- 1989년 얀 르쿤이 신경망으로 우편번호를 인식하려고 했을 때 고작 10개의 숫자를 인식하기 위해 모델을 학습하는데만 거의 3일이 걸렸다. 당시 신경망 구조는 지금과 크게 다르지 않았고 성능 또한 뛰어났지만 시스템만큼은 지금과는 큰 차이가 있었다. 인텔의 공동 창업자 고든 무어는 1965년 무어의 법칙을 내놓았다. 반도체 집적회로의 성능은 2년마다 2배씩 증가한다는 것으로 이 법칙은 오랫동안 컴퓨터 발전사에 통용되어온다. 얀 르쿤의 1989년 신경망 첫 실험과 2021년의 시스템 사이에 약 32년간의 시간차이가 있었는데, 단순 무어의 법칙에 의해 65536배의 성능 증가가 있었다. 3일이 걸렸던 학습 과정을 2021년에는 4초만에 끝낼 수 ..
1. 데이터는 인공지능의 원유 2012년부터 떠오르는 10대 기술로 첫번째를 빅데이터로 선정할 정도로 이미 가장 중요한 기술로 선정되었는데, 빅데이터가 도대체 무엇이냐?라고 물으면 대답하기 쉽지 않았다 단순히 많은 데이터를 모아두는 것이 왜 바이오, 화학, 식량보다 중요한 기술이냐는 것이다. 당시에는 그만큼 데이터를 제대로 활용할 수 있는 기술이 부족했다. 1907년 프랜시스 골턴이 에 논문 한 편을 제출하는데.. 논문 내용 중에 커다란 황소 한마리를 도축하고 고기 중량을 알아맞히는 이벤트를 진행했다고 한다. 관객들은 6펜스를 내고 티켓에 이름, 주소, 추정 무게등을 기입하여 제출했는데 800여명이 참여하였고 골턴은 이들의 중앙값을 구해보았다고 한다 중앙값은 547kg이었는데 실제로 도축한 고기의 무게는..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
