CNN(Convolutional Neural Network)은 왜 등장했을까?

1. Fully connected layer Neural network는 방대한 데이터를 모두 활용할 수 있도록 제한된 복잡도의 system에 압축하여 넣는 것 가장 간단한 single layer로 Perceptron이라고 부르는 Fully connected layer를 생각했다. input image에 대해 하나의 feature를 뽑기 위해 모든 pixel을 각각 서로 다른 가중치로 연결한 것이다 모든 pixel을 서로 다른 가중치의 sum을 하여 nonlinear activation function을 넣어 하나의 classification score를 뽑아낸다 2. Perceptron의 첫번째 문제점 이 간단한 모델을 먼저 matrix 형태로 바라본다면? 각 이미지 pixel 구조에 weight를 그..

• format_list_bulleted Computer Vision
• · 2022. 1. 31.
• textsms

Naive bayes classifier의 개념과 핵심 아이디어

1. Naive bayes classifier bag of words로 얻은 sentence나 document를 특정 category로 분류하는 모델링중 가장 간단한 것이 naive bayes classifier d개의 문서(input)가 c개의 class에 분류될 수 있다면 특정한 문서 d는 어떤 클래스로 분류하는 것이 합리적인가? d가 주어질 때 모든 c에 대해 C=c의 조건부확률이 가장 높은 c에 분류하는 것이 합리적이다. 사후확률을 가장 높이는 maximum a posteriori 베이즈 정리를 이용하면 위 식은 아래와 같아진다. 그런데 주목할 점은 우리는 특정한 문서 d에 주목한다는 것이다. 특정한 문서 d가 뽑힐 확률 P(d)는 하나의 상수일 것이다. 상수 값은 최대화하는데 의미가 없으므로 P..

• format_list_bulleted NLP
• · 2022. 1. 30.
• textsms

그래프(graph)의 유형

1. directed graph link에 방향성이 없고 두 node가 대등한 관계를 가질 수 있는 경우 undirected graph link에 방향성이 있어서 두 node의 주체와 대상의 관계가 확실하고 의미있는 경우 directed graph 페이스북 친구는 서로 친구가 되어있어야 가능하므로 대등한 관계를 가져서 방향이 없는 그래프 인용 그래프의 경우 논문을 누가 인용했는지, 인용의 대상이 무엇인지 분명하므로 방향성이 있는 그래프 트위터 팔로우 그래프는 내가 태연을 트위터 팔로우 하더라도 태연은 나를 팔로우 하지 않잖아 두 node사이에서 양쪽 방향으로 관계를 맺을 수도 있다. 물론 오른쪽 표기를 굳이 쓰진 않는다 사실 어느정도 주관적인 개념이다. 왜냐하면 주체와 대상의 관계가 있음에도 큰 의미가 ..

• format_list_bulleted Graph
• · 2022. 1. 29.
• textsms

transformer은 NLP의 트렌드를 어떻게 바꾸었을까

1. 기계번역의 연구 트렌드 1-1) translation based on rule 기계번역 문제는 연구자들이 수십년간 노력했던 분야로 딥러닝 이전에는 전문가들이 직접 언어간 문장구조를 고려한 rule 기반 번역을 수행했다. I love this movie라는 영어 문장을 나는 이 영화를 사랑한다.로 번역하기 위해서는 먼저 I , love, this, movie 단어별로 번역을 수행했다. 영어와 한글의 문법은 다르기 때문에 한글의 문법을 고려한 어순배열을 수행해야했다. 그러나 다양한 언어의 수많은 변수들을 일일이 고려하기에는 너무나 어렵다. 1-2) translation in RNN RNN이라는 딥러닝 기술의 등장은 이러한 고민을 해결했다. 언어학적 rule없이 단지 (영어 원문, 번역문)의 쌍으로 된 ..

• format_list_bulleted NLP
• · 2022. 1. 28.
• textsms

image classification 문제 이해하기

1. model input을 받아 output을 낸다 input은 이미지 뿐만 아니라 tabular(정형데이터), sound, text 등 다양함 어떤 input을 쓰고 어떤 output을 쓰고 어떤 model을 쓸지에 따라 task 이름이 결정 다양한 형태의 input을 잘 이해해야 model이 output을 어떻게 내는지 잘 이해할 수 있을 것 image classification task는? image를 input으로 넣어 model이 categorical class를 output으로 낸다 이미지나 영상을 입력하고 이미지나 영상의 카테고리를 출력으로 주는 것 입력으로 준 이미지나 영상의 카테고리를 분류하는 하나의 함수 mapping을 classifier라고 한다 그러나 output도 0~1사이의 c..

• format_list_bulleted Computer Vision
• · 2022. 1. 27.
• textsms

그래프(graph)와 관련된 인공지능 문제

1. node classification node가 여러가지 유형을 가질 때 각 node의 유형을 추측하는 문제 아래 그림은 사용자 계정 간 리트윗 정보를 그래프로 표현하여 각 리트윗이 나타내는 정치적 성향을 분석하여 크게 2가지 색깔로 나타냄 같은 정치적 성향을 가지는 사람끼리는 서로 트윗 공유를 할 가능성이 높을 것이다. 같은 색을 가지는 node들이 서로 모여있다는 것을 알 수 있다. 위와 같은 분석결과에 정치적 성향을 모르는 새로운 node가 추가되었다면 공유관계를 분석하여 새롭게 분류할 수 있을 것 단백질의 상호작용을 분석하여 단백질의 유형을 나누는 문제 2. link prediction 주어진 그래프가 어떤 식으로 연결되면서 성장할지 거시적으로 link를 예측하는 문제 페이스북의 진화 페이스북..

• format_list_bulleted Graph
• · 2022. 1. 27.
• textsms