값싼 비용으로 최대 효율을 낼 수 있을까 - lottery ticket hypothesis

1. introduction research의 트렌드를 바꿔버린 혁명적인 가설로 한번 제기된 이후 후속논문이 지금까지도 나오고 있음 첫 network인 A를 parameter initialization을 하고 적당히 training을 하여 91%의 정확도를 얻었다고 하자. 이후 training된 network를 pruning하여 B를 얻었다고 한다. 이 때 B의 현재 parameter에서 mask로 가려지지 않은 부분을 A의 첫 initialization된 parameter로 reset한 다음에 정확히 A와 동일한 training방법을 사용하여 reset한 B를 training하면 91%에 가까운 정확도를 얻을 수 있는 그런 network B가 존재할 수 있다는 뜻이다. 이런 network B를 lott..

• format_list_bulleted light weight modeling
• · 2022. 12. 31.
• textsms

비전공자도 이해할 수 있는 AI지식 -기계는 언어를 이해할 수 없는가-

1. 언어를 이해한다는 것은 무슨 말인가 그렇다면 이루다도 GPT같은 언어 생성 모델을 기반으로 하는 챗봇이었을까요? 컨퍼런스에서 이루다의 기술을 발표한 자료에 따르면, 이루다는 언어 생성 모델을 활용한 것이 아닙니다. 이루다에 적용한 것은 대화를 이해하고 여러 개의 응답 중 가장 적절한 응답을 선택하는 이해 모델에 좀 더 가깝습니다. 이루다의 원리를 이해하기 위해서는 먼저 언어를 이해한다는 것이 과연 무엇을 의미하는지부터 알아야합니다. "백두산의 높이는 얼마야?" 검색엔진에 질문을 입력하면 바로 정답을 찾아주는 경우가 있습니다. "백두산의 높이는 얼마야?"라고 질문하면 관련 문서에서 2744m라고 정답을 바로 찾아냅니다. 정답을 한번에 찾아낸다는 점에서 유사한 문서를 찾아내는 검색엔진과는 조금 다른 기..

• format_list_bulleted 비전공자도 이해할 수 있는 AI지식
• · 2022. 12. 31.
• textsms

비전공자도 이해할 수 있는 AI지식 -기계와 대화할 수 있을까-

1. "기계는 인간이 시키는 일만 한다" 지금까지는 챗봇이 문제해결용 대화 시스템으로 활약하는 방식을 살펴봤습니다. 챗봇이 고객센터의 역할을 하는 것이죠. 하지만 앞서 소개한 이루다처럼 자유 주제 대화 시스템의 챗봇이라면 인간과 자유롭게 대화하기 위해 어떤 과정을 거쳐야 할까요? 자유로운 대화를 할 때도 마찬가지로 if-then 규칙을 만들어 그 규칙에 맞춰 대화할 수는 있습니다. 일라이자와 심심이가 택한 방식이죠. 그리고 수십년 동안 전통적인 컴퓨터 프로그래밍 또한 이러한 규칙 기반 방식을 벗어나지 않았습니다. 1장에서 소개한 세계 최초의 컴퓨터 프로그래머 에이다 러브레이스는 인공지능의 출현 가능성을 최초로 추론하기도 했지만, "기계는 인간이 시키는 일만 한다. 어떤 해석 관계나 진실을 예측할 능력은 ..

• format_list_bulleted 비전공자도 이해할 수 있는 AI지식
• · 2022. 12. 29.
• textsms

Pytorch 기본 익히기1 -Pytorch가 무엇이고 기본 문법 익히기-

1. pytorch 소개 딥러닝을 다루는 대표적인 라이브러리인 Tensorflow, Keras, Pytorch중 페이스북 인공지능 연구팀에 의해 개발된 라이브러리 Pytorch python의 언어 구조와 굉장히 유사하며, 간결함 내부적으로 Computed Unified Device Architecture(CUDA)와 CUDA based Deep Neural Network(cuDNN)라는 API(application programming interface)를 이용해 GPU(graphics processing unit)연산을 가능하게 하여 연산 속도가 월등히 빠르다. numpy와 autogradient와 function을 제공해주는 framework 데이터의 형태로, numpy 구조의 array를 받아 te..

• format_list_bulleted Pytorch
• · 2022. 12. 26.
• textsms

비전공자도 이해할 수 있는 AI지식 -컴파일러, 인간의 언어를 이해하다-

1. 컴퓨터, 만능 기계의 모습을 갖추다 기계가 인간의 언어를 이해한다는 개념은 가장 먼저 컴파일러(compiler)에서 찾아볼 수 있습니다. 컴퓨터와 프로그래밍에 대해 조금이라도 배경지식이 있는 분은 컴파일러에 관해 한번쯤은 들어본 적이 있을 거에요. 컴파일(compile)이란 한 언어를 다른 언어로 바꿔주는 과정입니다. 예를 들면 영어를 한국어로 바꾸는 과정이 컴파일입니다. 컴퓨터에 비유하면 인간이 이해하는 고수준 언어(C++, 자바, 파이썬)를 기계가 이해하는 저수준 언어(기계어)로 바꾸는 과정을 칭하죠. 컴파일러 개념은 컴퓨터 역사에서 아주 중요한 의미를 지닙니다. 왜냐하면 컴파일러가 등장하면서, 비로소 컴퓨터는 계산기를 넘어 비즈니스에도 활용할 수 있는 만능 기계의 모습을 갖추었기 때문이죠 2...

• format_list_bulleted 비전공자도 이해할 수 있는 AI지식
• · 2022. 12. 21.
• textsms

GAN(Generative Adversarial Network) 기본 개념 되돌아보기

1. GAN의 특징 인공지능에서 데이터 생성이라는 새로운 분야를 선보이며 등장 GAN의 목적은 갖고 있는 데이터를 모방해서 새로운 데이터를 만드는 것이며, 두 개의 네트워크가 서로 목표를 달성하기 위해 적대적으로 겨루는 구조 2. GAN의 구조 GAN을 처음 제안한 이안 굿펠로우는 GAN을 경찰과 위조지폐범의 관계로 설명하였다. GAN은 위 그림처럼 생성모델 Generator와 분류모델 Discriminator가 겨루는 네트워크로 generator는 위조지폐범, discriminator는 경찰에 비유된다. 위조지폐범의 목적은 경찰을 속이기 위해 최대한 진짜 지폐와 유사한 가짜 지폐를 생성하는 것이고 경찰은 위조지폐범이 만든 가짜 지폐와 진짜 지폐를 잘 분류하는 것을 목적으로 한다. 만약 위조지폐범의 수법..

• format_list_bulleted Computer Vision
• · 2022. 12. 20.
• textsms