1. 무어의 법칙 -시간이 지나면서 반도체의 성능은 계속 증가- 1989년 얀 르쿤이 신경망으로 우편번호를 인식하려고 했을 때 고작 10개의 숫자를 인식하기 위해 모델을 학습하는데만 거의 3일이 걸렸다. 당시 신경망 구조는 지금과 크게 다르지 않았고 성능 또한 뛰어났지만 시스템만큼은 지금과는 큰 차이가 있었다. 인텔의 공동 창업자 고든 무어는 1965년 무어의 법칙을 내놓았다. 반도체 집적회로의 성능은 2년마다 2배씩 증가한다는 것으로 이 법칙은 오랫동안 컴퓨터 발전사에 통용되어온다. 얀 르쿤의 1989년 신경망 첫 실험과 2021년의 시스템 사이에 약 32년간의 시간차이가 있었는데, 단순 무어의 법칙에 의해 65536배의 성능 증가가 있었다. 3일이 걸렸던 학습 과정을 2021년에는 4초만에 끝낼 수 ..
1. 데이터는 인공지능의 원유 2012년부터 떠오르는 10대 기술로 첫번째를 빅데이터로 선정할 정도로 이미 가장 중요한 기술로 선정되었는데, 빅데이터가 도대체 무엇이냐?라고 물으면 대답하기 쉽지 않았다 단순히 많은 데이터를 모아두는 것이 왜 바이오, 화학, 식량보다 중요한 기술이냐는 것이다. 당시에는 그만큼 데이터를 제대로 활용할 수 있는 기술이 부족했다. 1907년 프랜시스 골턴이 에 논문 한 편을 제출하는데.. 논문 내용 중에 커다란 황소 한마리를 도축하고 고기 중량을 알아맞히는 이벤트를 진행했다고 한다. 관객들은 6펜스를 내고 티켓에 이름, 주소, 추정 무게등을 기입하여 제출했는데 800여명이 참여하였고 골턴은 이들의 중앙값을 구해보았다고 한다 중앙값은 547kg이었는데 실제로 도축한 고기의 무게는..
1. 딥러닝은 왜 갑자기 잘 동작하는가? 딥러닝이 갑자기 잘 동작하게 된 이유중 하나로 알고리즘의 발전을 들 수 있다. 과거 인공 신경망 시절 해결할 수 없는 문제도 많았고 제대로 학습할 수 있는 방법도 알지 못했다. 그러나 끝까지 연구를 이어온 일부 연구자 덕분에 제대로 학습할 수 있는 방법을 찾아냈다. 딥러닝은 머신러닝의 일종으로 머신러닝과 비슷한 방식으로 작동한다. "데이터와 정답을 입력하면 스스로 규칙을 찾아낸다" 그러나 딥러닝은 기존의 머신러닝에 비해 훨씬 더 크고 풍부한 역량을 지닌 모델이다. 훨씬 더 많은 데이터를 학습할 수 있고, 훨씬 더 풍부한 규칙을 찾아낼 수 있다. 이러한 딥러닝의 특징이 돋보이는 분야가 바로 기계번역이다. 요즘 기계번역은 전문 번역가가 직접 작업한 듯 자연스러운 번역..
2022/08/22 1. abstract language, vision, multimodal pretraining의 큰 수렴이 부상하고 있다. 이 논문에서는 우리는 일반적인 목적의 multimodal foundation model로 BEiT-3을 소개한다. 이는 vision과 vision language task에서 SOTA 성능을 달성했다. 특히 우리는 3가지 backbone architecture, pretraining task, model scaling up의 3가지 측면에서 커다란 수렴을 달성했다. 우리는 일반적인 목적의 모델링을 위한 Multiway transformer을 소개하고자 하는데, modular architecture로 deep fusion, modality-specific encod..
1. deep learning의 기본 인공지능을 단순하게 정의하면 ‘사람의 지능을 모방하는 것’ 딥러닝이 인공지능의 모든 것은 아니다. 2. 딥러닝의 핵심요소 모델이 배워야할 data, 데이터를 어떻게 변형시킬지 model, 모델의 나쁜 정도를 측정하는 loss function, loss를 최소화하는 parameter를 추정하는 알고리즘(optimizer) 4가지만 논문에서 정확히 보더라도 해당 논문의 거의 대부분을 이해할 수 있는 수준 2-1) data 데이터(data)는 풀고자하는 문제에 따라 다르다 semantic segmentation > 이미지의 픽셀이 어느 class에 속할지 pose estimation > 이미지의 스켈레톤(동작)을 추정함 visual QnA > 시각이미지를 보고 질문에 대한..
1. Computer vision이란? 사진이나 비디오 등 영상정보로부터 장면의 본질인 3D 모델을 구하는 기술을 Graphics라고 한다. 반대로 3D 모델, 어떤 물체의 본질을 가지고 있을 때 이것을 영상이나 비디오로 만드는 기술을 Computer vision이라고 한다. computer vision을 inverse graphics라고도 부른다 가장 먼저 딥러닝 기술에 의해 paradigm shift가 일어난 분야가 computer vision 2. AI란 무엇인가? 사람의 지능을 컴퓨터 시스템으로 구현한 것 지능의 범위가 도대체 무엇? ‘사고하고 인과관계를 분석하는 것 외에도 시각이나 소리에 관한 지각능력, 이해에 관련된 내용도 포함한다 옥스포드에서 정의한 AI는 인간 지능의 범위를 시각 인지능력부..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
